ReflectionがBeamのベンチマーク表を更新
ローンチ告知へのOctober 8付けの注記によると、Beamの結果が修正されました。
ローンチから3日後、Reflectionは発表に次の注記を追加しました。「Beamの結果を更新しました。上記の表には最新の数値が反映されています。その他の結果に変更はありません。」
このサイトのスコアには、修正後の表を使用しています。主なスコアは、SWE-Bench Verifiedで80.9、Terminal-Bench v2.1で80.1、GPQA Diamondで90.5、MCP Atlasで78.7です。
要点
別の場所でBeamの数値を見かけたら、改訂日を確認してください。