Reflection обновила таблицу результатов Beam
В примечании от October 8 к публикации о запуске говорится, что результаты Beam были пересмотрены.
Через три дня после запуска Reflection добавила примечание к объявлению: «Мы обновили результаты Beam; в таблицах выше указаны последние данные. Все остальные результаты остались без изменений».
На этом сайте приведены результаты из пересмотренной таблицы. Среди них — 80.9 на SWE-Bench Verified, 80.1 на Terminal-Bench v2.1, 90.5 на GPQA Diamond и 78.7 на MCP Atlas.
Главное
Проверяйте дату пересмотра, когда видите результаты Beam в других источниках.