
Forscher des Allen Institute for AI und der UC Berkeley haben mit EMO ein Mixture-of-Experts-Modell entwickelt, dessen Experten sich auf inhaltliche Domänen statt auf Wortarten spezialisieren. Das erlaubt es, drei Viertel der Experten zu entfernen, bei nur rund einem Prozentpunkt Leistungsverlust. Das könnte MoE-Modelle erstmals praxistauglich für speicherbeschränkte Umgebungen machen.
Der Artikel Forscher trainieren KI-Modell, das mit 12,5 Prozent seiner Experten fast volle Leistung bringt erschien zuerst auf The Decoder.

