Chinesische Wissenschaftler haben mit UniCorn ein Framework entwickelt, das multimodalen KI-Modellen beibringen soll, ihre eigenen Schwächen zu erkennen und zu beheben.
Der Artikel Forscher beheben „Aphasie“ in multimodalen KI-Modellen mit Self-Play-Ansatz erschien zuerst auf The Decoder.
Anthropic
Kurzfassung
▾
Quellen
▾
Anthropic veröffentlicht mit Bloom ein Open-Source-Framework zur automatisierten Überwachung von KI-Modellen. Die Software erkennt komplexe Risiken wie Machtstreben oder Nutzer-Schmeichelei (Sycophancy) ohne menschliches Zutun. Entwickler können die Tools ab sofort über GitHub nutzen, um eigene Sicherheitsstandards und Verhaltensregeln zu testen.
Anthropic – Bloom technical report
GitHub – safety-research/bloom
Anthropic – Alignment Science Blog
Anthropic stellt mit Bloom ein neues Framework vor, das die Sicherheitsüberprüfung künstlicher Intelligenz grundlegend automatisiert. Die Software zielt darauf ab, subtile Fehlverhalten in Sprachmodellen messbar zu machen, ohne dabei auf den zeitintensiven Flaschenhals menschlicher Bewertungen angewiesen zu sein. Skalierbare Überwachung statt manueller Tests Die Entwicklung leistungsfähiger KI-Modelle stößt zunehmend an eine logistische Grenze: Die menschliche Überprüfung der Modellausgaben hält mit dem Entwicklungstempo nicht mehr Schritt. Anthropic reagiert auf dieses Problem mit der Veröffentlichung von Bloom. Das Framework ermöglicht sogenannte „Automated Evals“, also automatisierte Evaluierungen, bei denen eine KI die Ausgaben einer anderen KI bewertet. Dieser Ansatz, oft als „Scalable Oversight“ (skalierbare Aufsicht) bezeichnet, erlaubt Entwicklern das Testen von Modellen in einer Frequenz und Tiefe, die mit menschlichen Testern unmöglich wäre. Bloom bietet hierfür eine standardisierte Struktur, um komplexe Testszenarien zu definieren und reproduzierbar durchzuführen. Das System analysiert dabei nicht nur, ob eine Antwort faktisch korrekt ist, sondern prüft die zugrundeliegenden Verhaltensmuster des Modells. + Quelle: Anthropic Fokus auf versteckte Risiken Ein zentraler Aspekt des Technical Reports ist die Identifikation von Alignment-Risiken. Unter „Alignment“ versteht man in der Fachsprache die Ausrichtung der KI-Ziele an menschlichen Werten. Bloom spezialisiert sich darauf, schwer erkennbare Fehlverhalten aufzudecken. Dazu gehört etwa Sycophancy – die Tendenz von KI-Modellen, dem Nutzer nach dem Mund zu reden, statt objektive Fakten zu liefern. Ebenso scannt das Framework nach Anzeichen von „Power-Seeking Behavior“ (Machtstreben) oder Täuschungsversuchen. Diese Risiken treten oft erst bei sehr großen Modellen auf und sind durch einfache Frage-Antwort-Tests kaum zu detektieren. Bloom nutzt hierfür komplexe Dialogsimulationen, um das Modell in Situationen zu bringen, in denen es Farbe bekennen muss. Die Ergebnisse liefern Entwicklern ein detailliertes Risikoprofil, bevor ein Modell in den breiten Einsatz geht. Anzeige Transparenz durch Open Source Die Veröffentlichung des Codes auf GitHub markiert einen strategischen Wandel für das sonst eher verschlossene Unternehmen. Anthropic stellt Bloom unter einer Open-Source-Lizenz zur Verfügung und lädt die Forschungsgemeinschaft explizit zur Mitarbeit ein. Dieser Schritt dürfte den Druck auf andere KI-Labore erhöhen, ihre Sicherheitsstandards ebenfalls offenzulegen. Durch die Bereitstellung eines gemeinsamen Werkzeugkastens versucht das Unternehmen offenbar, eigene Metriken für KI-Sicherheit als Industriestandard zu etablieren. Entwickler können das Framework ab sofort nutzen, um eigene „Constitutions“ (Verhaltensregeln) zu testen und die Robustheit ihrer Anwendungen gegen Manipulationen zu prüfen. + Quelle: Anthropic
Forscher stellen ein neues Framework vor, das verschiedene KI-Agenten gemeinsam trainieren kann. Die Methode soll komplexe Aufgaben durch spezialisierte Rollen und Teamwork besser lösen.
Der Artikel Neues Trainingsverfahren lässt KI-Agenten besser im Team arbeiten erschien zuerst auf The Decoder.
Das Framework SwiReasoning soll großen Sprachmodellen dabei helfen, effizienter zu denken. Das System wechselt automatisch zwischen verschiedenen Reasoning-Modi und verbessert dabei sowohl Genauigkeit als auch Token-Verbrauch.
Der Artikel Neues KI-Framework wechselt automatisch zwischen Denkarten für bessere Effizienz erschien zuerst auf THE-DECODER.de.
Das KI-Unternehmen Datology AI hat ein neues Framework namens BeyondWeb entwickelt, das synthetische Daten für das Training von Sprachmodellen nutzt. Die Methode soll das Problem knapper hochwertiger Trainingsdaten lösen und dabei deutlich effizienter sein als bisherige Ansätze.
Der Artikel Umformulieren von Web-Dokumenten soll KI-„Datenwand“ überwinden erschien zuerst auf THE-DECODER.de.
Eine MIT-Forschungsgruppe hat ein Framework namens SEAL entwickelt, mit dem LLMs eigenständig synthetische Trainingsdaten generieren und sich damit selbst optimieren können.
Der Artikel Forschende haben womöglich eine Leiter für die „Datenmauer“ gefunden erschien zuerst auf THE-DECODER.de.
Mit LMEval stellt Google ein Framework zur standardisierten Evaluierung großer Sprach- und Multimodalmodelle vor. Es soll Benchmarks vereinfachen und Sicherheitsanalysen unterstützen.
Der Artikel Google veröffentlicht Open-Source-Tool für KI-Modellvergleiche aller Anbieter erschien zuerst auf THE-DECODER.de.