Nano Banana
Kurzfassung
▾
Quellen
▾
Künstliche Intelligenz verfällt bei längeren Texten oft in einen sehr monotonen und vorhersehbaren Stil.
Forscher der Harvard University haben nun ein neues Framework für dauerhafte Kreativität und Vielfalt entwickelt.
Der Ansatz greift direkt in die Verarbeitung der Embeddings ein und verhindert den Verlust an Varianz.
Die Methode erhöht die Halluzination der Modelle nicht und lässt sich auf Open Source Systeme übertragen.
X (Twitter) – Ethan Mollick Statement
Harvard University – Project QUEST
Harvard University – Inducing sustained creativity and diversity in LLMs
Harvard University – Supplementary Material
KI-Modelle schreiben oft vorhersehbare und gleichförmige Texte. Eine aktuelle Studie der Harvard University zeigt nun einen Weg auf, wie Sprachmodelle dauerhaft kreative und vielfältige Antworten generieren. Das Team um den Forscher Gary King hat dafür ein neues Framework entwickelt. Das Problem der schwindenden Vielfalt Textgeneratoren verfallen bei längeren Aufgaben schnell in einen monotonen Durchschnitt, den Forscher als Homogenisierung bezeichnen. Nutzer versuchen oft, durch aufwendiges Prompting gegenzusteuern. Die KI-Modelle ignorieren diese spezifischen Vorgaben jedoch häufig nach wenigen Sätzen wieder. Das führt zu vorhersehbaren Mustern im Text. Das Harvard-Projekt QUEST analysierte dieses Verhalten im Detail. Die Wissenschaftler erkannten, dass aktuelle Architekturen fast immer den sichersten mathematischen Pfad wählen. Dadurch geht jede Varianz verloren. + Quelle: https://gking.harvard.edu/quest Ein Eingriff in die interne Zahlensprache Die aktuelle Publikation beschreibt eine konkrete technische Lösung für dieses Problem. Das Team greift direkt in die sogenannten Embeddings ein. Das ist die abstrakte Ebene, auf der ein KI-Modell alle Wörter in Zahlen übersetzt. Anstatt nur das nächste logische Token zu berechnen, erzwingt das Framework eine breitere Suche in diesem mathematischen Raum. Das Modell verknüpft dadurch weiter entfernte Begriffe miteinander. Diese Methode bewahrt das komplexe Reasoning der Systeme. Die Qualität der Fakten bleibt stabil, während die Textvielfalt spürbar steigt. Anzeige Training statt Chatfenster Im Alltag bedeutet das: Anwender können diese neue Kreativität nicht selbst durch cleveres Prompting erzwingen. Entwickler müssen die Modelle stattdessen zwingend mit dem neuen Ansatz trainieren. Das Framework der Forscher setzt dafür exakt beim Fine-Tuning an. Programmierer können diese Methode direkt auf bestehende Open Source Modelle und Architekturen mit Open Weights anwenden. Eine häufige Sorge bei kreativeren Ausgaben ist die Erfindung falscher Fakten. Die Studie belegt jedoch, dass das neue Verfahren die Rate der Halluzination nicht erhöht. Praktischer Nutzen für die Zukunft Auf der Plattform X betonte der Experte Ethan Mollick die praktische Bedeutung dieser Forschung. Er sieht darin einen wichtigen Schritt, um KI im Alltag vielseitiger einzusetzen. Die Entwicklung einer AGI steht zwar noch aus, aber die Fähigkeit zu dauerhafter Kreativität schließt eine spürbare Lücke in der aktuellen Technik. Die Forschungsergebnisse stehen der Entwicklergemeinde ab sofort zur Verfügung. Anzeige
