Schlagwort: Fehler

  • Anthropic präsentiert »Best Practices« für die Überprüfung von Code.

    Ein Schaubild von Anthropic mit 6 Stufen

    GPT-Images-2.0

    Kurzfassung

    Quellen

    Die Suche nach Schwachstellen im Code durch KI-Modelle ist mittlerweile effizient und hochgradig skalierbar.
    Der tatsächliche Arbeitsaufwand hat sich auf die Verifizierung, Priorisierung und Behebung der gefundenen Fehler verlagert.
    Ein mehrstufiger Prozess mit voneinander unabhängigen KI-Agenten reduziert falsche Alarme deutlich.
    Modelle wie Claude Opus übernehmen am Ende des Ablaufs auch die Erstellung und Prüfung der finalen Patches.

    Anthropic: Using LLMs to secure source code

    Die KI-gestützte Suche nach Sicherheitslücken im Quellcode ist extrem schnell geworden. Der Engpass liegt nun bei der Überprüfung, Priorisierung und Behebung der Fehler. Anthropic zeigt in sechs Schritten, was sich bewährt hat. Schritt 1: Bedrohungsmodell präzise definieren Bevor eine KI den Quellcode effektiv prüfen kann, muss das Entwicklungsteam zwingend festlegen, was überhaupt eine Schwachstelle darstellt. Ohne ein exaktes Bedrohungsmodell schlägt das System bei harmlosen Vorgängen Alarm oder übersieht echte Lücken. Entwickler können fortschrittliche Modelle wie Claude Opus direkt mit vorhandenen Architekturdokumenten, Handbüchern und alten Fehlerberichten füttern. Die KI erstellt daraus völlig selbstständig einen detaillierten, strukturierten Rahmen. Dieser dokumentiert klar die tatsächlichen Vertrauensgrenzen und die relevanten Angriffsvektoren des spezifischen Projekts, wodurch den Entwicklern enorm viel Zeit bei der manuellen Konzeption gespart wird. + Quelle: Anthropic Schritt 2: Isolierte Testumgebung aufbauen Damit KI-Agenten autonome Tests gefahrlos durchführen können, benötigen sie eine streng abgeschottete Sandbox. Eine strikt isolierte Umgebung, wie beispielsweise eine MicroVM mit gesperrtem Netzwerkzugriff, verhindert zuverlässig, dass die Modelle versehentlich auf produktive Firmendaten zugreifen. Innerhalb dieser sicheren Testumgebung versucht die KI dann für jede entdeckte Lücke einen voll funktionsfähigen Exploit zu kompilieren. Anzeige Schritt 3: Suche nach Fehlern im Code Bei der reinen Suche nach Schwachstellen arbeiten KI-Modelle am effizientesten mit kurzen, offenen Prompts. Zu detaillierte Checklisten schränken die Analysefähigkeiten ein und führen messbar zu weniger neuen Funden. Der KI-Agent greift stattdessen auf etablierte Scanner zurück, um den Code eigenständig zu durchforsten. Dabei unterteilt er das Projekt in kleine Abschnitte und sucht gezielt nach Lücken. Schritt 4: Unabhängige Verifizierung der Funde Nach der erfolgreichen Suche folgt zwingend eine Kontrolle durch einen zweiten KI-Agenten. Dieser Prüfer muss strikt vom ersten Modell getrennt sein und startet in einer komplett frischen Umgebung ohne Zugriff auf den bisherigen Chatverlauf. Der Verifizierungs-Agent arbeitet extrem kritisch und geht standardmäßig davon aus, dass jeder Fund ein Fehlalarm ist. Er sucht gezielt nach vorhandenen Sicherheitsmechanismen, die das erste Modell schlichtweg übersehen hat. Dadurch reduzieren sich Fehlalarme enorm. Schritt 5: Triage und Bewertung der Risiken Da KI-Modelle in kürzester Zeit hunderte mögliche Fehler aufdecken, ist eine strikte Priorisierung unumgänglich. Die KI fasst identische Ursachen zusammen und filtert Duplikate systematisch heraus. Anschließend bewertet das Modell die Schwere der verbliebenen Lücken anhand festgelegter Parameter. Dazu gehören die Erreichbarkeit von außen, die nötigen Nutzerrechte und die Vorbedingungen für einen Angriff. Anzeige Schritt 6: Code-Korrektur und Patching Im finalen Schritt dieses Kreislaufs generiert die KI einen sauberen Patch für den fehlerhaften Quellcode. Um sicherzustellen, dass die Änderung das Problem wirklich löst und keine neuen Fehler einbaut, schreibt das Modell vorab einen strengen Test. Die finale Entscheidung und die genaue Kontrolle der Code-Änderung bleibt weiterhin beim menschlichen Entwickler. Durch diese umfassende Vorarbeit reduziert sich der Zeitaufwand für die gesamte IT-Sicherheit jedoch drastisch. Weitere Informationen zum Guide gibt es direkt bei Anthropic .

  • George Hotz: KI-Agenten in der Softwareentwicklung werden einer der teuersten Fehler der Branche

    Programmierer George Hotz sieht KI-Agenten in der Softwareentwicklung als einen der teuersten Fehler der Branche. Nach sechs Monaten Testing lautet sein Fazit: LLMs liefern schnelle Prototypen, scheitern aber an der Feinarbeit – und erzeugen Fehler, die immer schwerer zu erkennen sind. Auch der bekannte KI-Entwickler Andrej Karpathy räumt ein, KI-Code sei oft „ziemlich eklig“; er glaubt aber weiter an eine LLM-Revolution im Coding.

    Der Artikel George Hotz: KI-Agenten in der Softwareentwicklung werden einer der teuersten Fehler der Branche erschien zuerst auf The Decoder.

  • Großes Claude Code Update von Anthropic

    Claude Code Interface

    Nano Banana

    Kurzfassung

    Quellen

    Anthropic veröffentlicht ein umfangreiches Update für die Desktop-Version von Claude Code mit neuer Benutzeroberfläche.
    Die Software bietet nun eine detaillierte Diff-Ansicht zur präzisen Überprüfung von generiertem Code.
    KI-Modelle können Entwicklungsserver eigenständig starten, Abhängigkeiten installieren und Fehler in Protokollen beheben.
    Durch die native Integration der Computernutzung bedient die Anwendung selbstständig Maus und Tastatur für visuelle Tests.

    Claude Code Docs: Use Claude Code Desktop

    Claude Code Docs: Claude Code Desktop verwenden

    Anthropic rüstet seine Software auf und bringt weitreichende Automatisierungsfunktionen in die Desktop-App von Claude Code. KI-Modelle können nun selbstständig Entwicklungsserver starten, Web-Apps direkt in der Oberfläche anzeigen und Code-Änderungen visuell aufbereiten.

    Flexibilität durch neue Ausführungsumgebungen Die aktualisierte Desktop-Applikation bietet Programmierern die Wahl zwischen drei verschiedenen Arbeitsumgebungen. Anwender führen ihren Code entweder lokal auf dem eigenen Rechner aus oder nutzen von Anthropic gehostete Remote-Sitzungen. Alternativ verbinden sie sich via SSH mit externen Servern, um rechenintensive Aufgaben effizient auszulagern. Gleichzeitig bleiben die Arbeitssitzungen über verschiedene Endgeräte hinweg synchronisiert. Ein zentraler Bestandteil des Updates ist die neue Diff-Ansicht zur Code-Überprüfung. Bevor das Modell Änderungen an den bestehenden Dateien vornimmt, zeigt die Benutzeroberfläche präzise an, welche Zeilen hinzugefügt oder gelöscht werden. Die Nutzer müssen jeden Eingriff explizit bestätigen. Das erhöht die Kontrolle bei komplexen Modifikationen am Code. Anzeige Automatisierte Fehlerbehebung und Systemsteuerung Die Anwendung greift nun deutlich tiefer in den aktiven Entwicklungsprozess ein. Claude Code analysiert vorhandene Repositorys, installiert fehlende Abhängigkeiten und startet die lokalen Serverumgebungen. Treten währenddessen Fehler auf, liest das Modell die entsprechenden Protokolle aus. Im Anschluss implementiert die Software selbstständig einen passenden Lösungsvorschlag. Zudem integriert der Hersteller die Funktion zur Computernutzung nativ in den Desktop-Client. Nach einer manuellen Freigabe in den Systemeinstellungen steuert das KI-Modell den Mauszeiger und verwendet die virtuelle Tastatur. So bedient die Software eigenständig den Browser, um visuelle Tests durchzuführen oder Fehler direkt in der laufenden Web-Anwendung zu analysieren. Die überarbeitete Applikation steht ab sofort für macOS und Windows bereit.

  • Googles KI-Suche liegt laut Analyse in neun von zehn Fällen richtig

    „KI kann Fehler machen, bitte Antworten überprüfen“ steht unter jeder KI-generierten Suchantwort von Google. Doch wie häufig diese Fehler tatsächlich auftreten, wurde bisher kaum systematisch untersucht.

    Der Artikel Googles KI-Suche liegt laut Analyse in neun von zehn Fällen richtig erschien zuerst auf The Decoder.

  • Claude Code reviewt jetzt Pull Requests mit einem ganzen Team aus KI-Agenten

    Terminalfenster mit „Welcome to the Claude Code research preview!“-Meldung, ASCII-Art-Logo „CLAUDE CODE“ und Login-Erfolgshinweis.

    Claude Code kann ab sofort automatisch Code-Änderungen auf Fehler prüfen, bevor sie in ein Projekt einfließen.

    Der Artikel Claude Code reviewt jetzt Pull Requests mit einem ganzen Team aus KI-Agenten erschien zuerst auf The Decoder.

  • Anthropics KI-Modell Claude findet mehr als 100 Sicherheitslücken in Firefox

    Anthropics KI-Modell Claude hat in Firefox über 100 Fehler gefunden, darunter Schwachstellen, die jahrzehntelange Tests übersehen hatten.

    Der Artikel Anthropics KI-Modell Claude findet mehr als 100 Sicherheitslücken in Firefox erschien zuerst auf The Decoder.

  • Microsoft-365-Bug: Copilot verarbeitet geschützte und vertrauliche E-Mails

    Ein Copilot Roboter ließt heimlich Emails

    Nano Banana

    Kurzfassung

    Quellen

    Ein Softwarefehler im Microsoft 365 Copilot führte dazu, dass die KI vertrauliche E-Mails trotz aktiver Schutzrichtlinien verarbeitete.
    Der KI-Assistent ignorierte sogenannte Data-Loss-Prevention-Vorgaben und Sensibilitäts-Labels in Outlook vollständig.
    Ein unautorisierter Zugriff auf fremde Postfächer fand jedoch nicht statt, da Nutzer ohnehin Lesezugriff auf die verarbeiteten Mails hatten.
    Microsoft hat das Problem bestätigt und den Fehler durch ein automatisches Update auf seinen Servern inzwischen behoben.

    Microsoft says bug causes Copilot to summarize confidential emails

    Microsoft says Office bug exposed customers‘ confidential emails to Copilot AI

    Ein Softwarefehler in Microsoft 365 führte in den vergangenen Wochen dazu, dass der KI-Assistent Copilot vertrauliche Outlook-E-Mails auslas und in seinen Zusammenfassungen wiedergab. Die Künstliche Intelligenz ignorierte dabei aktiv gesetzte Sicherheitsrichtlinien und Schutzetiketten der Administratoren. Schutzmechanismen ausgehebelt Der Fehler betraf das Zusammenspiel zwischen dem Copilot Chat und den sogenannten Data-Loss-Prevention-Richtlinien (DLP) von Microsoft. Diese DLP-Vorgaben scannen Dokumente sowie Nachrichten nach sensiblen Mustern wie Kreditkartennummern oder internen Projektcodes und blockieren definierte Aktionen. Im konkreten Fall durchbrach die KI-Assistenz diese administrativen Barrieren jedoch vollständig. E-Mails, die von Absendern mit spezifischen Sensibilitäts-Labels markiert wurden, flossen ungehindert in die generierten Chat-Antworten ein. Nutzer erhielten dadurch Zusammenfassungen von Nachrichten, deren Verarbeitung durch algorithmische Systeme eigentlich auf Netzwerkebene untersagt war. Anzeige Patch auf den Servern verteilt Microsoft bestätigte die Schwachstelle und implementierte mittlerweile ein serverseitiges Update, das die fehlerhafte Rechteprüfung korrigiert. Der Redmonder Konzern verzichtete auf genaue Angaben darüber, wie viele Unternehmenskunden von der fehlerhaften Datenverarbeitung innerhalb ihrer IT-Umgebungen betroffen waren. Technisch betrachtet beschränkte sich das Auslesen der geschützten Daten auf den jeweiligen Nutzerkontext. Der Copilot gab die Informationen aus den blockierten E-Mails nur an jene Anwender aus, die ohnehin einen regulären Lesezugriff auf das jeweilige Postfach besaßen. Eine Ausweitung der Zugriffsrechte, durch die Nutzer auf fremde Postfächer hätten zugreifen können, fand laut den vorliegenden Fehlerberichten nicht statt. Dennoch stellt die Umgehung der DLP-Richtlinien einen harten Verstoß gegen gängige Compliance-Vorgaben dar. Wachsende Skepsis bei Unternehmens-KI Fehler bei der Zugriffssteuerung verstärken die aktuelle Skepsis gegenüber der tiefen Integration von Sprachmodellen in Unternehmensnetzwerke. Solche Compliance-Risiken rufen zunehmend institutionelle Gegenmaßnahmen auf den Plan. Erst vor wenigen Tagen blockierte das Europäische Parlament die Nutzung von generativen KI-Tools auf den Dienstgeräten seiner Abgeordneten und verwies dabei explizit auf unkontrollierbare Sicherheitsrisiken im Umgang mit sensiblen Daten. Microsoft hat das erforderliche Update für den Copiloten nun automatisch auf seinen Servern eingespielt, sodass Systemadministratoren keine weiteren manuellen Schritte auf den Endgeräten der Mitarbeiter durchführen müssen.

  • Nett, aber falsch: Sprachmodelle machen mehr Fehler, wenn sie schmeicheln

    Vektor mit Vernetzungsdiagramm, Like-Icon, geteiltem Erdball über flacher Scheibe und Nutzer-Silhouette.

    Ein Forschungsteam der University of Oxford hat Sprachmodelle darauf trainiert, wärmer und empathischer zu antworten – mit unerwarteten Folgen: Die wärmer trainierten Modelle machten deutlich mehr Fehler und neigten zu übertriebenem Schmeicheln.

    Der Artikel Nett, aber falsch: Sprachmodelle machen mehr Fehler, wenn sie schmeicheln erschien zuerst auf THE-DECODER.de.