Ouro Preto

新的循环模型架构提升了推理和效率

研究人员开发了一种新的循环语言模型架构，该架构跨越逻辑深度重用 Transformer 块，提高了上下文提取和推理任务的性能。这种“序曲-循环块-尾声三明治”设计，以 Huginn 模型为例，显示出其优势可以迁移到专家混合（MoE）模型。与传统的前馈 MoE 模型相比，Huginn 式设计在参数效率方面更高，在多个基准测试中表现优于它们，同时在其他基准测试中保持了有竞争力的结果。