一个名为 Choice2Seq 的新基准测试被开发出来，用于评估 AI 模型在通过一系列局部决策构建答案时，相比于仅选择最终答案，其正确性保持能力如何。该基准测试揭示了模型选择准确性与其通过序列构建正确答案的能力之间存在显著差异。例如，Jev 在算术和词汇检索任务上取得了很高的选择准确性，但在串行构建过程中仅保留了其中一小部分正确选择。在其他模型如 StartLux 和 Qwen 中也观察到了类似的差距，即使它们直接输出字符也是如此。研究表明，诸如限制局部选项或使用显式位置索引等干预措施可以提高构建保真度，并区分任务正确性、计划保真度和输出合规性。 AI
影响 强调了当前 LLM 评估中的一个关键差距，表明未来模型需要改进序列推理和输出构建能力。
排序理由 学术论文，介绍了一个新的基准测试。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
