一项新的研究论文评估了三种决策模型——Jev、Liquid d1和GPT-6 Luna Decisions——在存在多个正确选项时进行概率分配的情况。研究发现,即使模型能够将所有有效选项的排名置于不正确选项之上,仍有相当大比例(28-50%)的正确选项被分配的概率低于均匀分布阈值。此外,当呈现相同的正确选项时,模型表现出显著的概率差异,平均差距在17到79个百分点之间。这些分配问题影响了使用概率阈值准确识别多个正确选项的能力。 AI
影响 凸显了大型语言模型在分配概率方面可能存在的缺陷,影响了它们在复杂决策场景中的可靠性。
排序理由 学术论文,详细介绍了对决策模型的新评估。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →