研究人员开发了一种新的基于粒子的方法来学习Transformer中的核注意力。该方法优化了核-目标对齐，并使用排斥势来创建多样化、任务自适应的随机特征。当应用于线性化Transformer注意力时，这种学习到的核化注意力在各种基准测试中显示出准确性、校准性和鲁棒性的提高，同时保持了线性注意力的推理复杂度。 AI
影响 引入了一种学习Transformer中核注意力的新颖方法，有可能提高模型在各种任务上的性能。
排序理由 该集群包含一篇研究论文，详细介绍了用于改进Transformer注意力机制的新颖模型。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
