Transformer模型使用Jelinek-Mercer和Dirichlet风格的平滑技术进行上下文学习

研究人员在Transformer模型中识别出两种互补的平滑机制，据信是上下文学习的基础。第一种机制在有限的注意力权重尺度上观察到，充当软上下文匹配估计器，类似于Jelinek-Mercer平滑那样在上下文阶数之间进行内插。第二种机制涉及一个序列起始标记，引入加性伪计数，类似于Dirichlet风格的平滑。一个特制的Transformer模型展示了这些机制，表明Transformer模型学会了正则化上下文估计，而不仅仅是计数，并且可以匹配或超越经典的统计基线。 AI

影响 提供了对Transformer模型中上下文学习更深层次的机制理解，可能指导未来的模型架构。

排序理由 学术论文，详细介绍了Transformer模型机制的新发现。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Dirichlet
• Francesco D'Angelo
• Gotit.pub
• Hugging Face
• IArxiv
• Influence Flower
• Jelinek-Mercer
• ScienceCast

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →