Eine große Analyse von über 170.000 Denkspuren offener Reasoning-Modelle zeigt: Große Sprachmodelle setzen bei schwierigen Aufgaben vor allem einfache Standardstrategien ein. Eine neue, kognitionswissenschaftlich begründete Einteilung von Denkprozessen macht sichtbar, welche Fähigkeiten fehlen und wann zusätzliche Denkhinweise im Prompt wirklich helfen.
Laut der Studie „Cognitive Foundations for Reasoning and Their Manifestation in LLMs“ reichen heutige Tests für Sprachmodelle nicht aus, um deren Denkfähigkeit zu beurteilen. Sie messen vor allem, ob eine Antwort stimmt, schreiben die Autor:innen im Paper. Ob ein Modell wirklich schlussfolgert oder nur bekannte Muster wiederholt, bleibe meist unsichtbar.
Das Team wertete deshalb 171.485 ausführliche Denkspuren von 17 Modellen sowie 54 laut mit gesprochene Lösungswege von Menschen aus und verglich sie. Die Aufgaben reichen von Rechenaufgaben über Fehlersuche bis zu politischen und medizinischen Dilemmata.
Der Artikel Sprachmodelle denken anders: Studie zeigt tiefe Lücke zu menschlichem Reasoning erschien zuerst auf The Decoder.