新研究确定了预测LLM更新回归的信号

一篇新研究论文探讨了预测大型语言模型（LLM）更新何时可能导致样本级回归（即先前正确的响应变得不正确）的方法。该研究将各种信号（包括置信度分数、logit差值和注意力熵）与跨版本信号（如输出KL散度和似然漂移）进行了比较。研究结果表明，这些信号的有效性高度依赖于特定任务和模型更新，没有单一信号被证明具有普遍优势。然而，即使没有标签，跨版本信号也显示出其效用，这表明对于高风险样本，可以选择性地回退到旧模型版本。 AI

影响 为开发人员提供了减轻LLM版本更新相关风险的方法，确保在各种任务中获得更一致的性能。

排序理由 一篇发表在arXiv上的研究论文，详细介绍了预测LLM回归的方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• McQueen
• ScienceCast

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →