BIG-Bench wurde 2021 als eine Art universeller Benchmark für eine neue Generation großer Sprachmodelle entwickelt. Doch aktuelle Modelle stoßen an dessen Grenzen. Google DeepMind stellt nun BIG-Bench Extra Hard (BBEH) vor – und offenbart selbst bei den besten Modellen erhebliche Mängel.
Der Artikel OpenAI schlägt Deepseek überraschend deutlich in Googles neuestem Reasoning Benchmark erschien zuerst auf THE-DECODER.de.