Grok 4.5 führt Agent-Test an und bestätigt Musks Opus-Klasse-Behauptung

Unabhängiger Test stützt Musks Versprechen

xAI hatte Grok 4.5 in dieser Woche öffentlich vorgestellt. Das Modell basiert auf dem V9-Fundament mit 1,5 Billionen Parametern. Musks Aussagen zum Leistungsversprechen stützten sich zunächst ausschließlich auf hausinterne Bewertungen. AutomationBench-AA ändert das. Artificial Analysis betreibt den Benchmark unabhängig und hält den genauen Aufgabenkatalog unter Verschluss, um eine Verzerrung der Ergebnisse durch gezieltes Training auf die Testfragen zu verhindern.

Der Test umfasst 657 Aufgaben in 40 simulierten Anwendungen, darunter Gmail, Slack, Salesforce und HubSpot. Bewertet wird, welchen Anteil der vorgegebenen Ziele ein Modell erfüllt, ohne dabei definierte Regeln zu verletzen. Claude Fable 5 erreichte 48,6 Prozent, Claude Opus 4.8 kam auf 48,5 Prozent.

Deutlicher Kostenvorteil gegenüber der Konkurrenz

Besonders auffällig ist der Preisunterschied. Grok 4.5 kostete 0,34 US-Dollar pro Aufgabe, während Fable 5 mit 1,35 US-Dollar und Opus 4.8 mit 1,46 US-Dollar deutlich teurer abschnitten. Das nächstgünstigere Modell, Gemini 3.5 Flash, lag bei 0,49 US-Dollar. Artificial Analysis führt den Kostenvorteil auf den effizienten Token-Verbrauch zurück. Grok 4.5 nutzte etwa 8.000 Output-Token pro Aufgabe, rund ein Viertel des Gesamtverbrauchs von Opus 4.8. Der Gesamtverbrauch lag laut Artificial Analysis bei 0,44 Millionen Token pro Aufgabe, einem der niedrigsten Werte im Vergleichsfeld.

Stärken bei Finanzdaten, Schwäche bei Regeleinhaltung

Grok 4.5 erledigte 79,9 Prozent aller Teilziele und bestand 21,9 Prozent der Aufgaben vollständig. In der als besonders anspruchsvoll geltenden Kategorie Finanzen erzielte das Modell 71 Prozent, vor Fable 5 mit 64 Prozent und Opus 4.8 mit 62 Prozent.

Allerdings verstieß Grok 4.5 häufiger gegen vorgegebene Regeln als seine engsten Mitbewerber. Mit 0,63 Verstößen pro Aufgabe lag es über dem Wert von Opus 4.8 mit 0,55 und Gemini 3.5 Flash mit 0,46. Dieser Unterschied ist für Unternehmen relevant, die KI-Agenten in produktiven Finanzsystemen einsetzen. Dort kann ein einziger Regelverstoß unmittelbare wirtschaftliche Folgen haben.

Einordnung

Das Ergebnis zeigt, dass Grok 4.5 im Verhältnis von Leistung zu Kosten eine starke Position einnimmt. Die höhere Rate an Regelverstößen bleibt jedoch ein kritischer Punkt für regulierte Anwendungsfelder. Für den breiten Einsatz in sensiblen Unternehmensumgebungen dürfte dieser Faktor entscheidend sein, unabhängig vom erzielten Gesamtscore.