研究发现：大型语言模型（LLM）的一致性是准确性的弱代理指标

一篇新的arXiv论文研究了使用大型语言模型（LLM）之间的一致性作为正确性代理指标的可靠性。该研究涉及53个不同的LLM运行者和265,000个样本，发现虽然一致性可以作为准确性的弱正向预测指标，但它并非独立的置信度分数。研究强调，模型可能因为共享的偏见或记忆的启发式方法而达成一致，而非事实准确性，特别是指出前沿模型表现出过度自信且存在重复性错误。研究结果表明，自我一致性是正确性的条件性指标，最好用于分配计算资源，而不是作为准确性的决定性衡量标准。 AI

影响 强调了当前大型语言模型（LLM）评估方法的局限性，表明需要超越简单一致性的更可靠的置信度评分方法。

排序理由 在arXiv上发表的关于大型语言模型（LLM）评估方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• Artificial Intelligence In Medical Epidemiology
• arXiv
• Claude
• GPQA Diamond
• LLM-as-a-Judge
• Shazeer et al.
• Verga et al.

• 论文
• 安全

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →