研究人员推出了一种名为解耦边际锐化(Decoupled Marginal Sharpening, DMS)的新技术,可以在推理时增强大型语言模型(LLM)的推理能力,而无需更新模型权重或使用外部奖励模型。DMS通过分别控制模型对特定推理路径的偏好及其最终答案的选择,解决了现有幂采样方法中的挑战。这种方法允许探索多样化的推理路径,然后更侧重于具有更大聚合支持的答案。在多个基准测试和LLM上的实验表明,DMS在提高推理任务的准确性方面优于现有方法。 AI
影响 这种新方法可以在不进行昂贵的重新训练的情况下,提高LLM在复杂任务上的推理性能。
排序理由 详细介绍LLM推理时扩展新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- AIME24/25
- alphaXiv
- CatalyzeX
- DagsHub
- Decoupled Marginal Sharpening
- Fully Adapted Annealed SMC
- Gotit.pub
- GPQA Diamond
- Hugging Face
- HumanEval
- MATH500
- Metropolis--Hastings
- ScienceCast
- Sequential Monte Carlo methods in filter theory
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →