PrismML hat mit Bonsai 27B ein 27-Milliarden-Parameter-Modell auf unter 4 GB komprimiert, sodass es direkt auf einem iPhone laufen kann. Laut eigenen Benchmarks behält die kleinste Variante 90 Prozent der Originalleistung, Mathematik und Coding bleiben nahezu unberührt. Apple testet die Technik offenbar bereits. Für den Konzern könnte das eine Antwort auf die bislang schwächelnde eigene On-Device-KI sein.
Der Artikel Offenes 27-Milliarden-Parameter-Modell „Bonsai“ läuft auf einem iPhone erschien zuerst auf The Decoder.
