一篇新的研究论文提出，大型语言模型（LLM）可以被视为贝叶斯预测器，即使它们的内部机制不完全符合传统的贝叶斯预期。该研究表明，虽然贝叶斯模型中的精确后验预测对于任务保持不变的排序是不变的，但 Transformer 可以根据序列化顺序改变下一个 token 的概率。然而，该论文认为，这种偏差并不会使其贝叶斯竞争力无效，因为过度的 Prequential 编码长度与预测的 KL 散度直接相关。在 Qwen2.5 模型上的实验表明，它们的预测分布与贝叶斯后验预测非常相似，尤其是在较小的支持集大小下，并且位置编码是顺序敏感性的关键因素。 AI
影响 这项研究为理解 LLM 的行为提供了一个理论框架，可能指导未来的模型开发，使其性能更加稳健和可预测。
排序理由 该集群包含一篇讨论 LLM 理论方面的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
