Presentazione di Olmo-core 3: infrastruttura di training aperta e scalabile per MoE di grandi dimensioni

È stata rilasciata la versione Olmo-core 3, un aggiornamento significativo per lo sviluppo di modelli linguistici di grandi dimensioni, che introduce un sistema di training open mixture-of-experts (MoE) riprogettato. Questa nuova versione è pensata per scalare il training MoE fino a modelli con trilioni di parametri, mantenendo l'efficienza computazionale. L'obiettivo è rendere lo sviluppo di modelli avanzati più accessibile, riducendo i costi e il consumo energetico. Olmo-core 3 è stato testato con successo su modelli con oltre un trilione di parametri, dimostrando un'elevata scalabilità con una minima perdita di throughput.