Reflection aktualisiert die Benchmark-Tabelle von Beam
Ein Hinweis vom October 8 im Launch-Beitrag besagt, dass die Ergebnisse von Beam überarbeitet wurden.
Drei Tage nach dem Launch fügte Reflection seiner Ankündigung einen Hinweis hinzu: „Wir haben die Ergebnisse von Beam aktualisiert, und die Tabellen oben spiegeln die neuesten Zahlen wider. Alle anderen Ergebnisse sind unverändert.“
Die Werte auf dieser Website entsprechen der überarbeiteten Tabelle. Dazu gehören 80.9 bei SWE-Bench Verified, 80.1 bei Terminal-Bench v2.1, 90.5 bei GPQA Diamond und 78.7 bei MCP Atlas.
Fazit
Prüfe das Datum der Überarbeitung, wenn du anderswo Zahlen zu Beam siehst.