GPT-Images-2.0
Kurzfassung
▾
Quellen
▾
Anthropic und AE Studio haben die neue KI-Architektur GRAM vorgestellt.
Die Methode speichert gefährliches Spezialwissen isoliert in separaten neuronalen Modulen.
Diese Module lassen sich nach dem Training spurlos löschen, ohne die allgemeine KI-Leistung zu beeinträchtigen.
Das Verfahren spart Entwicklern enorme Rechenkosten für das Training separater, abgesicherter KI-Modelle.
Anthropic Research – An off switch for dual use knowledge in AI models
Anthropic Alignment Science Blog – Modular Pretraining
Anthropic und AE Studio haben eine Trainingsmethode vorgestellt, mit der sich sensibles Wissen in KI-Modellen gezielt abklemmen lässt. Die Technik namens GRAM isoliert riskante Fähigkeiten in separaten Modulen, die Entwickler bei Bedarf einfach löschen können. Das erspart das teure Training mehrerer Modelle für unterschiedliche Sicherheitsanforderungen. Grenzen bisheriger Schutzmechanismen Aktuelle Sicherheitsfilter weisen eine entscheidende Schwäche auf: Sie verbieten dem KI-Modell lediglich die Ausgabe gefährlicher Inhalte. Das Wissen selbst bleibt in den Modellen gespeichert. Angreifer können diese Schutzschichten über Jailbreaks umgehen und die Informationen dennoch abrufen. Entfernen Entwickler heikle Informationen wie den Bauplan von Biowaffen komplett aus den Trainingsdaten, fehlt dieses Wissen später völlig. Benötigt ein Sicherheitslabor jedoch ein Modell mit Expertise in Virologie, müsste der Anbieter ein zweites Modell von Grund auf neu trainieren. + Quelle: Anthropic Zusatzneuronen frieren beim Training ein GRAM löst dieses Problem über die Architektur. Das Kürzel steht für Gradient-Routed Auxiliary Modules. Anthropic fügt jeder Schicht eines Standard-Transformers zusätzliche Neuronen hinzu. Diese sind in feste Gruppen unterteilt, wobei jede Gruppe für eine spezifische Kategorie von Dual-Use-Wissen steht – etwa Cybersicherheit oder Nuklearphysik. + Quelle: Anthropic Beim Training mit allgemeinen Texten lernt das Modell ganz normal. Stößt es jedoch auf Daten aus einer der sensiblen Kategorien, ändern sich die Regeln. Das Modell nutzt zwar sein Allgemeinwissen für Vorhersagen, aber nur das spezifische Modul speichert die neuen Informationen. Die allgemeinen Gewichtungen frieren währenddessen ein. Das sensible Wissen diffundiert so nicht durch das gesamte neuronale Netz, sondern sammelt sich isoliert in dem jeweiligen Modul. Leistung und Sicherheit in Tests bestätigt Anthropic hat die Methode an Modellen mit 50 Millionen bis fünf Milliarden Parametern evaluiert. Löscht man nach dem Training ein Modul, verschwindet die entsprechende Fähigkeit exakt so, als hätte das KI-Modell diese Daten nie gesehen. Die Leistung bei allgemeinen Aufgaben sinkt durch diesen Eingriff (fast) nie. Ein Angreifer kann das gelöschte Wissen auch durch gezieltes Fine-Tuning mit bösartigen Daten kaum wiederherstellen. Die Resistenz von GRAM entspricht hier laut den Entwicklern der eines Modells, dessen Trainingsdaten von vornherein gefiltert wurden. Bislang existiert GRAM nur als Forschungsprojekt und ist in keinem produktiven Claude-Modell integriert. Die Forscher weisen zudem darauf hin, dass manche Dual-Use-Fähigkeiten so eng mit allgemeinem Wissen verschränkt sein könnten, dass sich eine saubere Trennung auf neuronaler Ebene künftig als technisch unmöglich erweist. Anzeige
