OpenAI hat den Test SWE-Bench Pro geprüft, mit dem die Programmierfähigkeiten von KI-Modellen gemessen werden. Rund 30 Prozent der Aufgaben sind demnach fehlerhaft. Das Unternehmen zieht seine frühere Empfehlung für den Test zurück.
Der Artikel Wenn ein Leerzeichen über Bestehen entscheidet: OpenAI deckt Mängel in KI-Programmiertest auf erschien zuerst auf The Decoder.
GPT-Images-2.0
Kurzfassung
▾
Quellen
▾
OpenAI hat den beliebten Programmier-Benchmark SWE-bench Pro genauer untersucht und gravierende Mängel festgestellt.
Rund 30 Prozent der Aufgaben sind durch unklare Prompts oder zu strenge Tests fehlerhaft, was zu verfälschten Leistungsdaten führt.
Das Unternehmen zieht deshalb seine vorherige Empfehlung für diesen Test offiziell zurück.
Die Entwickler-Community wird aufgefordert, neue und präzisere Bewertungsstandards für KI-Modelle zu schaffen.
OpenAI: Separating signal from noise in coding evaluations
OpenAI hat bei einer Überprüfung des Programmier-Benchmarks SWE-bench Pro gravierende Mängel festgestellt. Rund 30 Prozent der enthaltenen Aufgaben sind laut der Analyse fehlerhaft. Das Unternehmen zieht daher seine Empfehlung für den Test offiziell zurück. Doppelte Kontrolle deckt Schwächen auf Noch vor wenigen Monaten hatte OpenAI der Community geraten, auf SWE-bench Pro umzusteigen. Der Vorgänger SWE-bench Verified lieferte keine aussagekräftigen Signale mehr über die Code-Fähigkeiten von KI-Modellen. Nun zeigt eine tiefgehende Untersuchung, dass auch die Pro-Version unter fundamentalen Designfehlern leidet. OpenAI nutzte für die Untersuchung zunächst ein automatisiertes Prüfverfahren, das Aufgabenmetadaten und Lösungsversuche analysierte. Dieses System filterte 286 verdächtige Aufgaben heraus. Danach überprüften spezielle KI-Agenten die fehlerhaften Punkte direkt in der Entwicklungsumgebung, führten Tests aus und suchten nach Ursachen. Parallel dazu bewerteten fünf erfahrene Softwareentwickler die Problemfälle unabhängig voneinander. Das Ergebnis: Die menschlichen Prüfer stuften sogar noch mehr Aufgaben als fehlerhaft ein als die Agenten. + Quelle: OpenAI Versteckte Hürden lassen Modelle scheitern Die genaue prozentuale Verteilung der Fehler zeigt das nachfolgende Diagramm. Das Hauptproblem bilden zu strenge Tests. Sie verlangen von den Modellen spezifische Implementierungsdetails, die in der Aufgabenstellung gar nicht erwähnt werden. Dadurch fallen funktional völlig korrekte Code-Lösungen reihenweise durch. + Quelle: OpenAI Zusätzlich leiden viele Aufgaben unter ungenauen Prompts. Diese verschweigen Vorgaben, die später in versteckten Tests zwingend gefordert werden. Ein konkretes Beispiel aus dem Benchmark verdeutlicht den Fehlerteufel: Eine Aufgabe verlangte ein Leerzeichen vor einem Markdown-Trennstrich. Der versteckte Test forderte jedoch zwingend zwei Leerzeichen. Folgt das Modell exakt dem Prompt, bewertet der Benchmark die Lösung wegen eines winzigen Formatierungsunterschieds als falsch. Konsequenzen für die Sicherheitsbewertung Wenn Benchmarks solche konzeptionellen Fehler aufweisen, vermitteln sie Entwicklern ein falsches Bild der tatsächlichen Modellfähigkeiten. Genau diese harten Metriken bilden jedoch die Grundlage für weitreichende Entscheidungen zur Sicherheit und zur Bereitstellung neuer Systeme. Da SWE-bench Pro diese verlässlichen Fakten nicht mehr liefert, drängt OpenAI auf einen Neustart. Die Software-Community soll neue Benchmarks entwickeln, die von Beginn an für die präzise Leistungsmessung von KI konzipiert sind. Anzeige
OpenAI stellt den bekannten Coding-Test SWE-bench Verified infrage: Viele Aufgaben seien so gebaut, dass Tests selbst korrekte Fixes ablehnen, und zudem hätten viele KI-Modelle die Lösungen wohl schon im Training gesehen. Damit, so OpenAI, misst der Score weniger echtes Programmieren als „Schon mal gelernt“.
Der Artikel OpenAI hält Programmier-Benchmark SWE-bench Verified für nutzlos und fehlerhaft erschien zuerst auf The Decoder.
Nano Banana
Kurzfassung
▾
Quellen
▾
OpenAI stuft den bekannten Benchmark SWE-bench Verified offiziell als unbrauchbar für die Evaluierung moderner KI-Modelle ein.
Fehlerhafte Unit-Tests und bereits im Training gelernte Open-Source-Lösungen verzerren die tatsächlichen Coding-Fähigkeiten der Systeme massiv.
Die Industrie soll stattdessen auf SWE-bench Pro wechseln, der komplexe Software-Architekturen prüft und private Codebasen nutzt.
Dadurch wird simples Auswendiglernen verhindert und die Leistungsmessung spiegelt wieder die echte professionelle Softwareentwicklung wider.
OpenAI – Why SWE-bench Verified no longer measures frontier coding capabilities
OpenAI stuft den etablierten Programmier-Benchmark SWE-bench Verified offiziell als unbrauchbar für modernste KI-Modelle ein. Aufgrund von fehlerhaften Tests und Datenkontamination liefert die Metrik keine verlässlichen Aussagen mehr über die tatsächlichen Coding-Fähigkeiten der Systeme. Das Unternehmen empfiehlt stattdessen den Wechsel auf den deutlich anspruchsvolleren SWE-bench Pro. Anzeige Fehlerhafte Tests verzerren das Bild Die Abwertung durch OpenAI entzieht dem bisherigen Branchenstandard für KI-Agenten die Grundlage. Bislang verließ sich die Industrie auf SWE-bench Verified, um das autonome Lösen von realen Software-Problemen zu evaluieren. Zuletzt näherten sich Spitzenmodelle wie Claude Opus 4.6 oder GPT-5.2 auf dem Leaderboard einer Genauigkeit von fast 80 Prozent an. Diese scheinbar makellose Erfolgsquote hält jedoch einer genaueren Prüfung nicht stand. Eine gezielte Analyse offenbarte, dass bei knapp 60 Prozent der untersuchten Fehlschläge der generierte Code völlig korrekt funktionierte. Die Einreichungen scheiterten schlicht an schlecht konzipierten Unit-Tests. So wurden funktionierende Lösungen vom System abgelehnt, nur weil das Sprachmodell eine unerwartete API nutzte oder die Prüfroutine bereits im unmodifizierten Originalcode Fehler auswarf. Zusätzlich entwertet das anhaltende Problem der Datenkontamination die Messergebnisse massiv. Da der Benchmark auf öffentlich zugänglichen Open-Source-Repositories basiert, haben viele Modelle die spezifischen Lösungen bereits während ihrer primären Trainingsphase aufgenommen. + Quelle: epochai Der Wechsel zu belastbaren Metriken Um den technischen Fortschritt im Software Engineering wieder realistisch abzubilden, rät OpenAI der Branche nun dringend zur Nutzung von SWE-bench Pro. Dieser neuere Benchmark verzichtet auf triviale Code-Korrekturen und erfordert stattdessen tiefgreifende, dateiübergreifende Anpassungen in verschiedenen Programmiersprachen wie Go oder TypeScript. KI-Systeme müssen die gesamte Architektur einer Software erfassen, anstatt isolierte Fehler abzuarbeiten. Ein entscheidender Vorteil der Pro-Variante ist der physische Schutz vor „Training Leakage“. Der Benchmark nutzt neben streng lizenziertem Copyleft-Code auch einen privaten Datensatz aus proprietären Codebasen kommerzieller Start-ups, auf die die Sprachmodelle beim Training definitiv keinen Zugriff hatten. Die massiv erhöhte Schwierigkeit spiegelt sich bereits schonungslos in den aktuellen Auswertungen wider. Modelle, die im alten Verified-Benchmark dominierten, stürzen unter den neuen Bedingungen teilweise drastisch ab. Die Leistungsmessung von KI-Systemen im Programmierbereich orientiert sich damit wieder stärker an der harten Realität der professionellen Softwareentwicklung.