Schlagwort: Sprachmodelle

Debatte um große Sprachmodelle: Werden LLMs vielseitiger – oder nur spezieller?

Ex-OpenAI-Mitarbeiter Andrew Ho und Cambridge-Forscher Adam Hunt sehen ein wachsendes Problem: Große Sprachmodelle werden nicht vielseitiger, sondern spezialisierter: stark bei Code und Mathematik, schwach in vielen anderen Bereichen. Ho gründet deshalb ein Startup für spezialisierte Trainingsdaten und prognostiziert, dass KI-Labore künftig über 100 Milliarden Dollar in gezielte Datenakquise investieren müssen.

Der Artikel Debatte um große Sprachmodelle: Werden LLMs vielseitiger – oder nur spezieller? erschien zuerst auf The Decoder.
Sprachmodelle können keine wissenschaftlichen Revolutionen auslösen, Weltmodelle vielleicht schon

Können Sprachmodelle eine wissenschaftliche Revolution auslösen? In einem Positionspapier mit dem Titel „LLMs can’t jump“ argumentiert Tom Zahavy von Google Deepmind: nein. Ihnen fehle der entscheidende kognitive Mechanismus, um wirklich Neues zu erschaffen.

Der Artikel Sprachmodelle können keine wissenschaftlichen Revolutionen auslösen, Weltmodelle vielleicht schon erschien zuerst auf The Decoder.
Mitarbeiter warnen: Metas KI-Moderation kommt zu schnell

Meta hat 2025 bereits rund die Hälfte aller menschlichen Moderationsanfragen durch große Sprachmodelle ersetzt und will diese Quote für manche Inhaltsarten bis Jahresende auf über 90 Prozent drücken.

Der Artikel Mitarbeiter warnen: Metas KI-Moderation kommt zu schnell erschien zuerst auf The Decoder.
OpenAI und Broadcom stellen eigenen KI Chip vor

GPT-Images-2.0

Kurzfassung
▾

Quellen
▾

OpenAI und Broadcom haben den KI-Chip Jalapeño speziell für Inferenz-Aufgaben großer Sprachmodelle präsentiert.
Die Hardware wurde mit KI-Unterstützung in nur neun Monaten entwickelt und zeigt in ersten Tests eine herausragende Energieeffizienz.
Ab Ende 2026 soll der Chip im Gigawatt-Maßstab in Rechenzentren zum Einsatz kommen, um Modelle günstiger und schneller bereitzustellen.

OpenAI: OpenAI and Broadcom unveil LLM-optimized inference chip

OpenAI hat in Zusammenarbeit mit Broadcom einen eigenen Prozessor für die Ausführung großer Sprachmodelle präsentiert. Der Inferenz-Chip »Jalapeño« soll etablierte Hardware bei der Energieeffizienz deutlich übertreffen. OpenAI will damit die Bereitstellung seiner Dienste günstiger und schneller machen. Entwicklung in neun Monaten Vom ersten Entwurf bis zum fertigen Chipdesign vergingen lediglich neun Monate. Um diese Zeitspanne zu verkürzen, halfen bestehende OpenAI-Modelle beim Entwurf der neuen Schaltkreise. Die ersten Prototypen des Chips laufen im Labor bereits mit der geplanten Taktrate. Dort berechnen sie aktuell Testläufe mit kommenden Modellgenerationen wie GPT-5.3-Codex-Spark. Anzeige Netzwerk und Datendurchsatz Die Architektur verringert die nötigen Datenverschiebungen direkt auf dem Chip und stimmt Rechenleistung, Speicher und Netzwerkkomponenten aufeinander ab. Broadcom liefert hierfür seine Tomahawk-Netzwerkbausteine. Den Einbau der Prozessoren in Server-Platinen und Racks übernimmt der Hardware-Fertiger Celestica. Ziel ist es, Aufgaben mit geringer Verzögerung und gleichzeitig hohem Durchsatz zu verarbeiten. OpenAI-Hardwarechef Richard Ho erklärte, das Chip-Design sei exakt auf jene Rechenoperationen und Speicherzugriffe zugeschnitten, die für große Sprachmodelle relevant sind. Ausbau der Rechenzentren ab 2026 Der Prozessor bildet die Basis einer eigenen Server-Infrastruktur. Ende 2026 soll die Hardware in Kooperation mit Partnern wie Microsoft in großem Maßstab ans Netz gehen. Die geplanten Rechenzentren sind auf einen Energiebedarf im Gigawatt-Bereich ausgelegt. Durch die eigenen Chips senkt OpenAI die Betriebskosten der Modelle und macht sich unabhängiger von externen Lieferanten. Ein detaillierter Bericht zu den genauen Leistungswerten folgt in den kommenden Monaten.
KI-Text-Detektion durch Pangram: Sprachmodelle verraten sich durch uniforme Argumente

Sprachmodelle schreiben grammatikalisch sauber und argumentieren oft schlüssiger als viele Menschen. Doch bittet man sie um 100 Argumente zu einem Thema, ähneln sich die Ergebnisse stark. Menschliche Argumente seien dagegen viel vielfältiger, sagt Pangram-CEO Max Spero.

Der Artikel KI-Text-Detektion durch Pangram: Sprachmodelle verraten sich durch uniforme Argumente erschien zuerst auf The Decoder.
Das KI-Modell Fugo Ultra greift Claude Fable 5 an

GPT-Images-2.0

Kurzfassung
▾

Quellen
▾

Sakana AI hat mit Fugu und Fugu Ultra zwei neue Orchestrator-Modelle veröffentlicht, die auf kollektive KI-Intelligenz setzen.
Anstatt Aufgaben allein zu berechnen, delegieren die Modelle Teilaufgaben an einen dynamischen Pool spezialisierter Sprachmodelle.
Fugu Ultra erreicht in Tests das Leistungsniveau von führenden Modellen wie Anthropics Fable 5.
Dieser Ansatz macht Nutzer unabhängig von einzelnen Anbietern und umgeht Probleme durch mögliche Exportkontrollen.

Sakana AI – Sakana Fugu: One Model to Command Them All
GitHub – SakanaAI/fugu

Das japanische Start-up Sakana AI hat mit Sakana Fugu ein Sprachmodell veröffentlicht, das als Multi-Agenten-Orchestrator agiert. Über eine Programmierschnittstelle koordiniert es dynamisch einen Pool spezialisierter Sprachmodelle. Die Variante Fugu Ultra erreicht das Niveau führender Spitzenmodelle. Dynamische Orchestrierung im Hintergrund Das neue Sprachmodell von Sakana AI ruft eigenständig spezialisierte Sprachmodelle aus einem flexiblen Agenten-Pool auf. Bei eingehenden Anfragen entscheidet Fugu selbstständig, ob es die Aufgabe direkt löst oder ein Team aus Experten-Modellen zusammenstellt. Die Auswahl, Delegation, Verifikation und Synthese der Teilergebnisse erfolgen vollständig intern, sodass der Nutzer über eine einzige OpenAI-kompatible Programmierschnittstelle auf die gesammelte Leistung zugreift. Das technologische Fundament basiert auf den Forschungsarbeiten »Trinity« und »The Conductor«, die auf der Fachkonferenz ICLR 2026 vorgestellt wurden. Statt auf starre, vordefinierte Abläufe setzt Sakana AI auf gelernte Koordination. Dadurch verbessert sich die Leistungsfähigkeit des Orchestrator-Modells automatisch, sobald neue Sprachmodelle in den zugrundeliegenden Pool integriert werden. + Quelle: Sakana Zwei Modellvarianten für die Praxis Sakana AI bietet den Orchestrator in zwei Ausführungen an, um unterschiedliche Anforderungen an Geschwindigkeit und Detailtiefe abzudecken. Das Basismodell Fugu ist auf geringe Latenzzeiten optimiert und eignet sich für alltägliche Aufgaben wie die Überprüfung von Quelltexten oder interaktive Chatbot-Dienste. Unternehmen mit strengen Compliance-Vorgaben können bei diesem Modell gezielt einzelne Anbieter oder Sprachmodelle aus dem verfügbaren Pool ausschließen. Für komplexe, mehrstufige Problemstellungen ist hingegen Fugu Ultra konzipiert. Dieses Modell nutzt einen tieferen Pool spezialisierter Agenten, um ein Höchstmaß an Genauigkeit zu gewährleisten. Erste Testnutzer setzten das Modell bereits für wissenschaftliche Arbeiten, Patentrecherchen sowie detaillierte Analysen im Bereich der Cybersicherheit ein. In internen Experimenten übertraf Fugu Ultra etablierte Spitzenmodelle zudem bei der Vorhersage von Finanzzeitreihen und der Analyse mechanischer Konstruktionen. Starke Ergebnisse in Benchmark-Tests In den veröffentlichten Leistungstests positioniert sich Fugu Ultra auf Augenhöhe mit führenden Modellen wie Fable 5 oder Mythos Preview von Anthropic. Im anspruchsvollen Testverfahren »SWE Bench Pro« erzielt Fugu Ultra einen Wert von 73,7 Punkten, während das Basismodell Fugu auf 59,0 Punkte kommt. Zum Vergleich: Das etablierte Modell Opus 4.8 erreicht hier 69,2 Punkte, Gemini 3.1 Pro liegt bei 54,2 Punkten und GPT 5.5 dokumentiert 58,6 Punkte. Auch in anderen Kategorien wie »LiveCodeBench Pro« mit 90,8 Punkten oder »GPQA-D« mit 95,5 Punkten behauptet sich das Spitzenmodell von Sakana AI im vorderen Feld. Bemerkenswert ist dabei, dass sich die genannten Spitzenmodelle von Anthropic selbst gar nicht im Agenten-Pool von Fugu befinden, da sie nicht öffentlich zugänglich sind. Berichte aus der Praxis untermauern diese Zahlen: Ein Softwareentwickler hob hervor, dass Fugu Ultra bei einer Code-Überprüfung mehr als zwanzig Fehler aufdeckte, wo andere Modelle lediglich drei Probleme erkannten. + + Quelle: Sakana Strategischer Schutz vor Abhängigkeiten Neben den reinen Leistungswerten positioniert das in Tokio ansässige Start-up das Modell als strategische Absicherung gegen die Abhängigkeit von einzelnen Technologieanbietern. Sakana AI verweist hierbei auf aktuelle Exportkontrollen, die den Zugriff auf Anthropics Spitzenmodelle Fable und Mythos reglementieren. Solche regulatorischen oder außenpolitischen Verschiebungen können den Zugang zu kritischen Infrastrukturen über Nacht einschränken oder blockieren. Da der Agenten-Pool von Fugu vollständig austauschbar ist, kann das Modell bei Ausfällen oder Sperren eines Anbieters die Anfragen dynamisch auf andere verfügbare Sprachmodelle umleiten. Diese Resilienz soll Organisationen und Ländern helfen, ihre digitale Souveränität zu wahren, ohne auf Spitzenleistungen verzichten zu müssen. Beide Modellvarianten stehen über eine einheitliche Programmierschnittstelle im Abonnement oder über eine nutzungsbasierte Abrechnung bereit. Anzeige
OpenAI-Chef Sam Altman hält Skalierung großer Sprachmodelle für lange nicht ausgereizt

Sam Altman verteidigt bei einem Auftritt in Stanford die Skalierung großer Sprachmodelle und wehrt sich gegen LLM-Kritiker: Eine ganze Forschergeneration habe das Feld gebremst, weil sie zu sicher gewesen sei, was LLMs nicht leisten könnten. Als Beleg nennt er OpenAIs jüngste Widerlegung einer mathematischen Vermutung.

Der Artikel OpenAI-Chef Sam Altman hält Skalierung großer Sprachmodelle für lange nicht ausgereizt erschien zuerst auf The Decoder.
KI-Tool zeigt die »wichtigsten« Menschen der Welt

GPT-Images-2.0

Kurzfassung
▾

Quellen
▾

Die neue Website intheweights.com analysiert, welche realen Personen fest in den neuronalen Gewichten von KI-Sprachmodellen gespeichert sind.
Personen mit hohem Score können von der KI direkt und ohne externe Websuche fehlerfrei abgerufen werden.
Das Ranking zeigt, dass historische Figuren und moderne Popstars wie Taylor Swift das grundlegende KI-Wissen gleichermaßen dominieren.
Vor allem bei kleineren Modellen belegt ein hoher Wert, wie relevant eine Person bei der Auswahl der knappen Trainingsdaten war.

In the Weights – Offizielle Website

Die Entwickler Thomas Dimson und Joey Flynn haben mit » intheweights.com « ein neues Analyse-Tool veröffentlicht. Die Website prüft, ob und wie gut Sprachmodelle wie GPT-5.5, Opus 4.8 oder Gemini 3.1 Lite reale Personen auswendig kennen. Wer dort einen hohen Wert erzielt, wurde beim Training als wichtig erachtet und ist fest in den Gewichten (Weights) des Modells kodiert. + Quelle: intheweights Wissen ohne Websuche Große Sprachmodelle speichern Informationen über Milliarden dieser Zahlenwerte ab. Befindet sich eine Person in diesen Gewichten, kann das Modell ihre Biografie direkt abrufen, ohne auf externe Hilfsmittel wie eine Websuche zurückzugreifen. Ob jemand in diesem neuronalen Gedächtnis landet, bestimmen die Architektur, die Trainingsdaten und vor allem die Größe des Modells. Je kleiner das Sprachmodell, desto strenger die Selektion. Taucht ein Name etwa in einer kompakten Version wie Llama 3.2 1B auf, ist das ein Indiz für extrem hohe Relevanz. Die Person belegt dann einen messbaren Teil des knapp ein Gigabyte großen Speichers. Anzeige Die Spitzenreiter kommen auf 996 Punkte Für die Messung fragt die Website alle angebundenen Sprachmodelle mit dem Befehl »Wer ist [Name]?« ab und fordert bis zu zehn beschreibende Ergebnisse samt Konfidenzwert. Der Algorithmus gruppiert ähnliche Antworten und errechnet daraus den sogenannten »Strength Score«. Dieser kombiniert die durchschnittliche Erkennungssicherheit mit der Anzahl der Modelle, die den Namen korrekt zuordnen. Die Rangliste der Website führt eine Mischung aus historischen Figuren und modernen Stars an. Der Screenshot zeigt die Top 10, die alle einen Score von 996 erreichen. Darunter finden sich Wolfgang Amadeus Mozart, William Shakespeare, Taylor Swift, Steven Spielberg und Lionel Messi. + Quelle: intheweights Schwächen bei Allerweltsnamen Das Abfrageverfahren hat jedoch technische Grenzen. Tippfehler bei der Eingabe drücken die Punktzahl sofort nach unten. Auch Personen mit sehr häufigen Namen schneiden bei der Zuordnung systematisch schlechter ab. Erschwerend kommt hinzu, dass die Sprachmodelle ihre eigene Sicherheit unkalibriert einschätzen. Die angegebenen Konfidenzwerte schwanken daher von Abfrage zu Abfrage. Manchmal erfinden die Modelle auch biografische Details oder nie stattgefundene Ereignisse, was die Auswertung weiter verfälscht.
Warum große KI-Modelle bestimmte Aufgaben lernen und kleine nicht

Kleine Sprachmodelle scheitern an seltenen Aufgaben, weil häufige Aufgaben das Gelernte ständig wieder überschreiben. Eine neue Studie mit Modellen von 4 Millionen bis 4 Milliarden Parametern zeigt diesen Mechanismus im Detail und liefert einen pragmatischen Ausweg: Statt Modelle aufzublasen, kann es reichen, die Häufigkeit der Zielaufgabe in den Trainingsdaten gezielt zu erhöhen.

Der Artikel Warum große KI-Modelle bestimmte Aufgaben lernen und kleine nicht erschien zuerst auf The Decoder.
Wer Sprachmodelle als nützliche Assistenten trainiert, macht sie weniger menschlich

Eine groß angelegte Studie mit rund 208.000 Versuchspersonen und 26 Millionen Reaktionen zeigt: Ausgerechnet das Training, das Sprachmodelle zu hilfreichen Chatbots macht, verschlechtert ihre Fähigkeit, menschliches Verhalten nachzubilden. Der Effekt verstärkt sich mit jeder Modellgeneration. Auch der beliebte Persona-Trick, bei dem Modelle demografische Profile vorgeschaltet bekommen, bringt für individuelle Vorhersagen praktisch keinen Vorteil.

Der Artikel Wer Sprachmodelle als nützliche Assistenten trainiert, macht sie weniger menschlich erschien zuerst auf The Decoder.