一篇新的 arXiv 论文批判性地审视了用于增强大型语言模型 (LLM) 推理能力的功率采样技术。研究表明，这些方法，包括马尔可夫链蒙特卡洛 (Markov chain Monte Carlo) 和序列蒙特卡洛 (sequential Monte Carlo)，主要通过锐化现有 LLM 输出的分布来发挥作用，而不是真正地近似目标功率分布。研究发现，简单的“N 中选优”(Best-of-N) 采样可以取得类似的结果，而直接微调模型以匹配功率分布则带来了不稳定的收益。这表明功率采样的益处可能源于选择可能的序列，而不是忠实地针对理论分布。 AI
影响 表明当前改进 LLM 推理的方法可能不如人们认为的那样有效，可能会重新引导研究方向。
排序理由 学术论文发表在 arXiv 上，详细介绍了研究结果。[lever_c_demoted from research: ic=1 ai=1.0]
- Abiel Malkani Talwar
- arXiv
- Hugging Face
- LLM
- Markov chain Monte Carlo
- Reinforcement learning with verifiable rewards
- Sequential Monte Carlo methods in filter theory
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
