Karta modelu
Wszystko, co Reflection AI opublikowało na temat budowy i trenowania Beam. Dane pochodzą z oficjalnego ogłoszenia i dokumentacji dla deweloperów; szacunki są oznaczone.
| Deweloper | Reflection AI (New York) |
|---|---|
| Ogłoszono | 2026-10-05 |
| Typ modelu | Rzadki model językowy typu Mixture-of-Experts |
| Łączna liczba parametrów | 501B |
| Aktywne parametry na token | 23B |
| Warstwy | 52 |
| Mechanizm uwagi | Naprzemienne lokalne i globalne mechanizmy uwagi |
| Okno kontekstu (beta API) | 256K tokens |
| Długość kontekstu osiągnięta w środkowej fazie treningu | 1M tokens |
| Maksymalna długość odpowiedzi (API) | 128K tokens |
| Granica wiedzy | 2026-06-30 |
| Modalność | Tekst na wejściu, tekst na wyjściu |
| Rozumowanie | Zawsze włączone, z ustawieniem wysiłku rozumowania |
| Funkcje API | Wywoływanie narzędzi, ustrukturyzowane dane wyjściowe, przesyłanie strumieniowe |
| Licencja wag | Apache 2.0 (wagi mają zostać udostępnione później, w październiku 2026 r.) |
| Identyfikator modelu API | Beam-501B-A23B |
W modelu typu Mixture-of-Experts każda warstwa zawiera wiele małych sieci „ekspertów”, a router wybiera kilka z nich dla każdego tokenu. Beam ma 501 miliardów parametrów, ale każdy token przechodzi tylko przez około 23 miliardy z nich.
W rezultacie obliczenia na token są zbliżone do obliczeń dla gęstego modelu 23B, dzięki czemu Beam jest tańszy w obsłudze, a jednocześnie zachowuje dużą całkowitą pojemność. Minusem jest pamięć. Wszystkie 501B parametrów nadal musi znajdować się w pamięci GPU, aby można było obsługiwać model.
Reflection twierdzi, że routing jest wyjątkowo równomierny: pod koniec pretreningu najbardziej obciążony ekspert obsługiwał zaledwie 1.04× średniego obciążenia, więc wykorzystywani są wszyscy eksperci.
23.8 biliona tokenów z internetu, źródeł publicznych i licencjonowanych zbiorów danych, ze szczególnym naciskiem na kod, teksty techniczne i STEM. Odfiltrowano około 95% tokenów z surowych danych internetowych. Trening przeprowadzono na 6,144 procesorach graficznych NVIDIA GB300 NVL72 w niecałe cztery tygodnie, osiągając pod koniec 92.3% goodput.
Etap przygotowujący model do uczenia przez wzmacnianie: długie dokumenty bogate w rozumowanie, repozytoria kodu i zadania o długim horyzoncie. Na tym etapie rozszerzono efektywne okno kontekstu Beam do 1 miliona tokenów.
Ponad 100 milionów trajektorii na 10,500 procesorach GB300 przez cztery tygodnie, w prawie milionie środowisk związanych z programowaniem, działaniem agentów i STEM oraz w około 1.3 miliarda piaskownic. Reflection określa ten trening jako jeden z największych przebiegów RL przeprowadzonych przez dowolne niezależne laboratorium i twierdzi, że wyniki nadal rosły w chwili jego zakończenia.
Osobny model bezpieczeństwa i dostrajania do preferencji wytrenowano na tej samej bazie, a następnie połączono z modelem RL za pomocą destylacji on-policy z udziałem wielu nauczycieli. Reflection zapowiada publikację ocen bezpieczeństwa w raporcie technicznym oraz udostępnienie wewnętrznych ewaluacji bezpieczeństwa na otwartej licencji.
Beam trenowano z karą za długość, która nagradza poprawne odpowiedzi i zniechęca do używania zbędnych tokenów. W API wybierasz poziom wysiłku rozumowania: niższe ustawienia pozwalają szybciej uzyskać odpowiedź przy użyciu mniejszej liczby tokenów, a wyższe wydłużają namysł nad trudnymi problemami.
Reflection nie opublikowało jeszcze wymagań sprzętowych. To nasze przybliżone szacunki dotyczące samych wag (parametry × bajty na parametr). Rzeczywiste wdrożenia wymagają dodatkowej pamięci na pamięć podręczną KV i aktywacje.
| Precyzja | Tylko wagi | Przykładowy sprzęt |
|---|---|---|
| BF16 / FP16 | ≈ 1002 GB | 8× procesorów graficznych o pojemności 192 GB (około 1.5 TB) lub klaster złożony z wielu węzłów |
| FP8 | ≈ 501 GB | 8× procesorów graficznych o pojemności 80 GB to za mało; 8× 141 GB lub więcej zapewnia odpowiedni zapas |
| INT4 / 4-bit | ≈ 251 GB | Minimum 4× GPU z 80 GB pamięci, więcej przy długim kontekście |
Szacunki, nieoficjalne wymagania. Zastąpimy je danymi Reflection, gdy ukaże się karta modelu.