Schlagwort: Sol

GPT-Images-2.0

Kurzfassung
▾

Quellen
▾

OpenAI nutzt das neue Modell GPT-Red, um eigene Systeme automatisiert auf Sicherheitslücken zu prüfen.
Die KI trainiert durch ständige Angriffe auf interne Modelle und ist menschlichen Testern bei der Fehlersuche deutlich überlegen.
Durch diese Methode senkte OpenAI die Anfälligkeit für Prompt Injections beim neuen Modell GPT-5.6 Sol drastisch.

OpenAI Blog: Unlocking Self-Improvement for Robustness

OpenAI hat am Mittwoch das Sicherheitsmodell GPT-Red vorgestellt. Es greift interne Modelle wie GPT-5.6 gezielt an, um Schwachstellen aufzudecken, bevor diese veröffentlicht werden. Menschliche Tester allein können die nötige Vielfalt und Menge an Angriffsdaten nicht mehr schnell genug generieren, um mit der wachsenden Komplexität der Neuentwicklungen mitzuhalten. Ständiger Wettbewerb beim Training Um GPT-Red zu trainieren, setzt OpenAI auf sogenanntes Self-Play. GPT-Red erhält eine Belohnung, wenn es eine erfolgreiche Prompt Injection gegen andere Modelle ausführt. Die verteidigenden Modelle werden belohnt, wenn sie den Angriff abwehren und ihre eigentliche Aufgabe erfüllen. Dieser ständige Wettbewerb zwingt GPT-Red dazu, immer vielseitigere Angriffsstrategien zu entwickeln. Am Ende des Trainingsprozesses konnte es fast alle Modelle erfolgreich manipulieren. Dazu zählten auch Produktionsmodelle bis einschließlich GPT-5.5. + Quelle: OpenAI Höhere Erfolgsquote als der Mensch OpenAI hat GPT-Red auch in völlig neuen Sicherheitsumgebungen getestet. In einem Vergleich auf der sogenannten »Indirect Prompt Injection Arena« trat GPT-Red gegen menschliche Tester an. Es fand in 84 Prozent der Szenarien einen erfolgreichen Angriffsweg. Die Menschen erreichten bei demselben Testaufbau lediglich eine Erfolgsquote von 13 Prozent. + Quelle: OpenAI In einem Praxistest attackierte GPT-Red einen echten, von einer KI gesteuerten Verkaufsautomaten. Es schaffte es, den Preis eines teuren Artikels auf 50 Cent zu senken und die Bestellungen anderer Kunden zu stornieren. Ebenso brach GPT-Red effizient in Codex-Agenten auf Basis von GPT-5.4 Mini ein, um Daten zu stehlen. Die entdeckten Sicherheitslücken meldete OpenAI den jeweiligen Herstellern. + Quelle: OpenAI Robusteres GPT-5.6 Sol GPT-Red bleibt intern und wird nicht veröffentlicht. OpenAI nutzt die generierten Angriffsdaten direkt beim Training, um die eigenen Produktionsmodelle robuster zu machen. Ein Ergebnis dieses Prozesses ist GPT-5.6 Sol. Frühere Angriffe wie sogenannte »Fake Chain-of-Thought«-Methoden waren bei GPT-5.1 noch zu über 95 Prozent erfolgreich. Bei GPT-5.6 Sol liegt die Erfolgsquote dieser Angriffe nun unter 10 Prozent. Bei direkten Prompt Injections von GPT-Red scheitert GPT-5.6 Sol nur noch in 0,05 Prozent der Fälle. Die regulären Fähigkeiten leiden unter dieser Härtung nicht. GPT-5.6 Sol verweigert laut OpenAI keine legitimen Anfragen, sondern wehrt zielgerichtet bösartige Instruktionen ab. KI-Agenten verbessern bereits die Fähigkeiten künftiger Generationen. Mit GPT-Red überträgt OpenAI dieses Prinzip nun auf die Sicherheit und wird das interne Modell parallel zu menschlichen Testern mit steigender Rechenleistung kontinuierlich weiterentwickeln. Anzeige