Scheda del modello
Tutto ciò che Reflection AI ha pubblicato su come Beam è stato realizzato e addestrato. I numeri provengono dall'annuncio ufficiale e dalla documentazione per sviluppatori; le stime sono indicate come tali.
| Sviluppatore | Reflection AI (New York) |
|---|---|
| Annunciato | 2026-10-05 |
| Tipo di modello | Modello linguistico Mixture-of-Experts sparso |
| Parametri totali | 501B |
| Parametri attivi per token | 23B |
| Livelli | 52 |
| Attenzione | Attenzione locale e globale alternata |
| Finestra di contesto (beta API) | 256K tokens |
| Lunghezza del contesto raggiunta a metà addestramento | 1M tokens |
| Output massimo (API) | 128K tokens |
| Data limite delle conoscenze | 2026-06-30 |
| Modalità | Testo in ingresso, testo in uscita |
| Ragionamento | Sempre attivo, con un'impostazione dello sforzo di ragionamento |
| Funzionalità API | Chiamata degli strumenti, output strutturati, streaming |
| Licenza dei pesi | Apache 2.0 (pesi promessi per più avanti nell'ottobre 2026) |
| ID del modello API | Beam-501B-A23B |
In un modello Mixture-of-Experts, ogni layer contiene molte piccole reti «expert» e un router ne seleziona alcune per ogni token. Beam memorizza 501 miliardi di parametri, ma ogni token ne attraversa solo circa 23 miliardi.
Il risultato: il calcolo per token è simile a quello di un modello denso da 23B, il che rende Beam più economico da servire, mentre la capacità totale resta elevata. Il compromesso è la memoria: per servire il modello, tutti i 501B parametri devono comunque risiedere nella memoria delle GPU.
Reflection afferma che il suo sistema di routing è insolitamente equilibrato: al termine del preaddestramento, l'expert più carico gestiva solo 1.04× il carico medio, quindi tutti gli expert vengono utilizzati.
23.8 trilioni di token provenienti dal web, da fonti pubbliche e da dataset su licenza, con una forte attenzione a codice, scrittura tecnica e STEM. È stato filtrato circa il 95% dei token web grezzi. L'addestramento è stato eseguito su 6,144 GPU NVIDIA GB300 NVL72 in meno di quattro settimane, con un goodput del 92.3% verso la fine.
Una fase progettata per preparare il modello all'apprendimento per rinforzo: documenti lunghi e ricchi di ragionamenti, repository di codice e attività a lungo termine. In questa fase il contesto effettivo di Beam è stato esteso a 1 milione di token.
Oltre 100 milioni di rollout su 10,500 GPU GB300 nell'arco di quattro settimane, in quasi un milione di ambienti di programmazione, agentici e STEM e circa 1.3 miliardi di sandbox. Reflection lo definisce uno dei più grandi cicli di RL mai eseguiti da un laboratorio open e afferma che i punteggi continuavano a salire quando si è concluso.
Un modello separato per sicurezza e allineamento è stato addestrato a partire dalla stessa base e unito al modello RL tramite distillazione on-policy multi-teacher. Reflection afferma che pubblicherà le valutazioni di sicurezza nel rapporto tecnico e renderà open source le proprie valutazioni interne di sicurezza.
Beam è stato addestrato con una penalità sulla lunghezza che premia le risposte corrette e scoraggia l'uso di token non necessari. Nell'API puoi scegliere uno sforzo di ragionamento: le impostazioni più basse forniscono risposte più rapide con meno token, quelle più alte dedicano più tempo ai problemi difficili.
Reflection non ha ancora pubblicato i requisiti hardware. Queste sono le nostre stime approssimative per i soli pesi (parametri × byte per parametro). Le implementazioni reali richiedono memoria aggiuntiva per la cache KV e le attivazioni.
| Precisione | Solo pesi | Esempio di hardware |
|---|---|---|
| BF16 / FP16 | ≈ 1002 GB | 8× GPU da 192 GB (circa 1.5 TB) oppure un cluster con più nodi |
| FP8 | ≈ 501 GB | 8× GPU da 80 GB sono al limite; con 8× 141 GB o più si lavora comodamente |
| INT4 / 4-bit | ≈ 251 GB | Almeno 4× GPU da 80 GB, di più per contesti lunghi |
Stime, non requisiti ufficiali. Li sostituiremo con i dati di Reflection quando sarà pubblicata la scheda del modello.