研究人员在Transformer注意力机制中识别出一种特定的代数模式，称为“可扩展幂等性”。这种模式涉及有效OV算子的稀疏子集，它们在组合下几乎闭合，意味着将算子应用两次得到的结果与应用一次相似。跨多个模型和参数大小的实验表明，相当大比例的注意力头表现出这种闭合特性，而训练好的方向在实现这一点上起着至关重要的作用。研究进一步表明，虽然这种现象的几何容量广泛存在，但在训练好的模型中通常未被充分实现，而值的共享可以将这种头部的关系扩展到局部算子代数。 AI
影响 这项研究通过理解和潜在地优化“可扩展幂等性”现象，可能带来更高效、更易于理解的Transformer模型。
排序理由 学术论文，详细介绍了Transformer架构的一项新发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
