一项新的研究论文介绍了一种方法，用于评估大型语言模型在法律选择题基准测试中的真实能力，解决了模型利用与问题无关的答案模式的问题。研究发现，像 Claude Haiku 4.5 和 GPT-5.6 这样的模型即使在隐藏问题的情况下，也表现出对某些答案位置的显著偏见。通过实施一种过滤掉此类偏见项目的“门控”机制，研究人员发现许多模型的真实性能更接近于随机猜测，这凸显了基准设计在准确评估模型能力方面的重要性。 AI
影响 凸显了当前大语言模型评估方法的缺陷，可能导致更稳健的基准设计和对模型能力的更清晰的理解。
排序理由 介绍大语言模型新方法论和基准分析的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
