一篇新研究论文提出了一种通过使用因果证据集而非仅依赖注意力模式来训练大型语言模型中稀疏注意力机制的方法。研究发现，注意力和因果依赖性常常发生分歧，当注意力模式用于监督时会导致性能下降。通过掩盖输入的一部分并观察其对答案的影响，研究人员可以识别因果证据，而使用这些证据训练选择器可以显著提高准确性。例如，当Gemma-2-9B被限制在相关句子时，其准确率从56%提高到99%，而Qwen2.5-3B在用因果证据而非注意力训练时表现有所提高。 AI
影响 这项研究可能通过改进稀疏注意力机制的训练方式，从而提高大型语言模型的效率和准确性，潜在地降低计算成本并增强在需要精确上下文理解的任务上的性能。
排序理由 研究论文，详细介绍了一种训练大型语言模型注意力机制的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
