实体
Hybrid Attention
Hybrid Attention
PulseAugur coverage of Hybrid Attention — every cluster mentioning Hybrid Attention across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
研究发现：混合注意力机制影响LLM多语言能力
研究人员调查了大型语言模型（LLM）中的混合注意力机制如何影响其多语言能力。这些模型结合了不同类型的注意力来高效处理长序列。研究发现，注意力层的排列方式显著影响跨语言表征的发展，在第一个全注意力层周围观察到了显著的对齐峰值。在多语言数据上进行蒸馏的实验表明，替代的层序排列，特别是从全注意力层开始，优于标准配置，学习速度提高了2.5倍。
-
Hugging Face 研究建议重新设计多语言LLM的注意力层
Hugging Face 的一项新研究调查了混合注意力机制对大型语言模型多语言能力的影响。研究人员发现，循环层和全注意力层的排列方式显著影响跨语言表征的形成，在第一个全注意力层之后出现了一个显著的对齐峰值。在多语言数据上进行蒸馏的实验表明，替代的层序排列，特别是以全注意力层开始的排列，与标准配置相比，学习速度提高了2.5倍，这表明多语言模型架构可能需要重新设计。
-
新研究解决了掩码扩散语言模型的评估和架构问题
两篇新研究论文介绍了掩码扩散语言模型（MDLM）的新型评估协议和架构。第一篇论文“CaRE”提出了一个计算感知的框架来标准化评估，揭示了温度和步数等因素会显著影响报告的收益，常常颠覆之前的策略排名。第二篇论文“PreDiff-LM”提出了一种混合注意力机制，该机制可以使预训练的自回归Transformer适应双向生成，在困惑度和MAUVE等指标上比标准扩散模型有所改进，但在同等规模下仍落后于优化的自回归模型。