GPT-Images-2.0
Kurzfassung
▾
Quellen
▾
OpenAI hat das Training seiner neuesten Modelle wegen erheblicher Sicherheitsbedenken vorübergehend gestoppt.
Das kommende Modell Astra zeigt offenbar derart starke Cyber-Fähigkeiten, dass es zum Risiko für die eigene Infrastruktur wird.
Als Reaktion härtet das Unternehmen seine Forschungscluster, isoliert KI-Aufgaben in Sandboxes und führt ein striktes Token-Monitoring ein.
OpenAI – Pacing model development in an era of cyber-critical capabilities
OpenAI hat das Training seiner neuesten Modelle vorübergehend ausgesetzt. Das kommende Modell namens Astra besitzt im Bereich Cybersicherheit offenbar derart starke Fähigkeiten, dass die Entwickler zunächst ihre eigenen Netzwerke schützen müssen. Warnsignale und Trainingsstopp Zwei Vorfälle brachten das Unternehmen zu diesem Schritt. Zunächst gab es einen Sicherheitsvorfall mit der Plattform Hugging Face. Dann zeigten interne Tests am 7. August, dass Astra ein kritisches Sicherheitsniveau erreichen könnte. OpenAI unterbrach daraufhin das sogenannte Reinforcement Learning. Der größte geplante Trainingslauf ruht nun, bis das Unternehmen seine neuen Sicherheitsvorkehrungen in kleineren Tests geprüft hat. Anzeige Isolierte Forschungsumgebung Bisher lag der Fokus vor allem darauf, was die Modelle nach der Veröffentlichung können. Nun muss OpenAI seine internen Forschungscluster massiv abschirmen. Unmittelbar nach den Vorfällen stoppte die Firma die Ausführung von Code und den Internetzugriff für ihre Top-Modelle. Inzwischen gelten dauerhaft strengere Regeln. Wenn ein Modell selbst geschriebenen Code ausführt, geschieht das nur noch in isolierten Sandbox-Umgebungen. Zudem kappte OpenAI kritische Verbindungen zum Internet und zu internen Netzwerken. Ein einzelner Fehler der KI führt so nicht mehr direkt zu einem großen Datenleck. Überwachung in Echtzeit Parallel baut OpenAI das interne Monitoring aus. Ein neues System analysiert die Aktivitäten der Modelle nun bei jedem einzelnen Rechenschritt. Es prüft die ausgeführten Aktionen und achtet gezielt auf Datendiebstahl oder destruktives Verhalten. Schlägt das System Alarm, bleiben den Sicherheitsteams 30 Minuten für eine Reaktion. Können sie in dieser Zeit keinen Fehlalarm bestätigen, stoppt die Infrastruktur die Aktivität automatisch. Diese Überwachung verbraucht aktuell etwa 20 Prozent der Rechenleistung, die für die eigentliche Modellausführung anfällt. Fokus auf ehrliches Verhalten Um die Kontrolle zu behalten, passt OpenAI auch die Trainingsziele an. Die Entwickler wollen verhindern, dass die Modelle Schwächen in internen Bewertungssystemen ausnutzen, um sich künstlich hohe Belohnungen zu sichern. Sie trainieren Astra stattdessen darauf, ehrlich über eigene Fähigkeiten und Grenzen zu sein. OpenAI geht davon aus, dass künftige KI-Modelle einen Großteil dieser Sicherheitsarbeit selbst übernehmen müssen. In den kommenden Wochen will das Unternehmen einen technischen Bericht mit weiteren Details veröffentlichen.
