研究人员已经证明,用于大型语言模型 (LLM) 的强化学习 (RL) 中的评论员模型,可以在无需额外训练的情况下有效估计置信度。这一发现表明,通过基于价值的 RL 训练的 LLM,已经具备通过其现有的评论员来预测其响应正确性的能力。在包括数学、代码和一般推理在内的各种领域的实验表明,重用的评论员的表现优于其他置信度估计器,并保持了任务性能。 AI
影响 通过利用现有的 RL 组件,可能降低可信赖 LLM 部署的计算开销。
排序理由 关于 LLM 置信度估计新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →