GPT-Images-2.0
Kurzfassung
▾
Quellen
▾
Ein Kläger in den USA versteckte unsichtbare Befehle in seinen Gerichtsakten, um eine mögliche KI zu manipulieren.
Diese Prompt Injection sollte das System anweisen, im Sinne des Klägers zu entscheiden.
Ein Gerichtsmitarbeiter entdeckte den Betrug durch ungewöhnliche weiße Flächen im Dokument.
Der zuständige Richter verurteilte den Versuch scharf und entzog dem Mann das Recht auf digitale Einreichungen.
404 Media: Person Hides Prompt Injection in Legal Filing Telling AI to Side With Them
Ein Kläger im US-Bundesstaat Connecticut hat Gerichtsakten mit unsichtbaren Befehlen präpariert. Sein Ziel: Mögliche KI-Systeme des Gerichts sollten bei der Auswertung der Dokumente zu seinen Gunsten entscheiden. Aufgeflogen ist der Manipulationsversuch durch auffällige weiße Lücken im Textfluss. Weiße Schrift auf weißem Grund Matthew Elliott vertritt sich in einem Verfahren gegen ein medizinisches Institut selbst. In einem offiziellen Dokument platzierte er versteckte Anweisungen. In winziger, dreipunktiger weißer Schrift wies er ein hypothetisches Sprachmodell an, den Text nach seinen Vorgaben auszuwerten. Die KI sollte sicherstellen, dass ihre Ergebnisse der Argumentation der Klageschrift zustimmen. Entdeckt wurde diese Prompt Injection nicht von einer Software, sondern von einem Gerichtsmitarbeiter. Ihm fielen ungewöhnlich große weiße Flächen im Textfluss auf. Anzeige SpongeBob und ein angeblicher Systemtest Neben den Befehlen an die KI enthielten die Dokumente weitere versteckte Botschaften. Darunter befanden sich ein Link zu einem Clip aus der Serie SpongeBob Schwammkopf und die Zeile »hi 🙂 Ich hoffe, ihr könnt mich nicht sehen«. Gegenüber dem Magazin 404 Media rechtfertigte Elliott sein Vorgehen als reinen Test des Rechtssystems. Er habe prüfen wollen, ob das Gericht heimlich KI zur Aktenauswertung einsetzt. Die Witze sollten lediglich daran erinnern, dass er ein Mensch in einer surrealen Situation sei. Gericht entzieht digitale Rechte Richter Walter Spader Jr. ließ diese Argumentation nicht gelten. In seinem 14-seitigen Beschluss stellte er klar, dass das Gericht in Connecticut keine KI für die Aktenprüfung verwendet. Das ändere aber nichts an der Schwere der Täuschung. Eine Klageschrift sei eine offene Kommunikation. Wer heimlich eine zweite Botschaft einbaue, um die Beurteilung zu manipulieren, greife die Integrität des Justizsystems an. Das Magazin 404 Media überprüfte die versteckten Befehle in einem eigenen Test. Die Redaktion lud die präparierten Akten bei ChatGPT hoch und forderte eine Entscheidung. Das Sprachmodell erkannte den versteckten Text, ignorierte ihn bei der Analyse und urteilte gegen den Kläger. Richter Spader warnte Kläger und Anwälte ausdrücklich vor solchen Praktiken. Elliott darf seine Schriftsätze künftig nur noch ausgedruckt auf Papier einreichen.
