Olmo Hybrid

Olmo Hybrid语言模型展现出改进的可扩展性和表达能力

研究人员推出Olmo Hybrid，一款结合了循环和注意力机制的新的70亿参数语言模型。这种混合架构采用Gated DeltaNet层，与传统的Transformer及其前身Olmo 3相比，展现出更优越的性能和更高效的可扩展性。该研究从理论和实践上证明，Olmo Hybrid能够执行超越纯粹Transformer和线性RNN的任务，包括代码执行，预示着语言模型发展的一个有前景的新方向。