multilingual models

Hugging Face 研究建议重新设计多语言LLM的注意力层

Hugging Face 的一项新研究调查了混合注意力机制对大型语言模型多语言能力的影响。研究人员发现，循环层和全注意力层的排列方式显著影响跨语言表征的形成，在第一个全注意力层之后出现了一个显著的对齐峰值。在多语言数据上进行蒸馏的实验表明，替代的层序排列，特别是以全注意力层开始的排列，与标准配置相比，学习速度提高了2.5倍，这表明多语言模型架构可能需要重新设计。