一项名为 InferBench 的新基准测试被开发出来，用于评估大型语言模型从指令中推断用户优先事项的能力。在涉及 12 个 LLM 的 2.8k 次对话测试中，清晰理解已声明偏好的模型准确率达到 89%，而对于未声明偏好的模型，准确率则降至 60%。GPT-6 Astra 的表现最佳，达到 76%，紧随其后的是 MiMo V2.6 Pro 的 75%，以及 Gemini 3.1 Pro 的 69%。该基准测试还强调，即使在错误的情况下，LLM 仍然保持高度自信，超过 100 次错误决策的置信度超过 90%。 AI
影响 强调了指令遵循和用户意图理解对 LLM 的重要性，对用户体验和模型开发具有指导意义。
排序理由 LLM 的新基准测试和评估结果。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
