新的贝叶斯惩罚可逆转语言模型中的注意力崩溃

研究人员开发了一个名为贝叶斯重复惩罚（Bayesian Repetition Penalty）的新框架，以解决自回归语言模型中注意力崩溃的问题。这种病理会导致模型陷入重复循环。该框架通过将生成过程中标记的观察频率与其语料库先验进行比较来工作，并使用相邻条件概率构造。这种方法允许一个封闭形式的logit偏移，可以作为冻结的输出层偏差应用，从而在不改变其训练管道的情况下有效修复崩溃的模型。实验表明，该技术可以在保持生成质量的同时显著减少重复。 AI

影响 通过减轻重复输出，提供了一种新颖的方法来提高大型语言模型文本生成的可靠性和质量。

排序理由 详细介绍语言模型新技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• Attention Collapse
• autoregressive language models
• Bayesian Repetition Penalty
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• ScienceCast

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →