Ukrainian legislation

新基准揭示大语言模型在法律选择题测试中的偏见

一项新的研究论文介绍了一种方法，用于评估大型语言模型在法律选择题基准测试中的真实能力，解决了模型利用与问题无关的答案模式的问题。研究发现，像 Claude Haiku 4.5 和 GPT-5.6 这样的模型即使在隐藏问题的情况下，也表现出对某些答案位置的显著偏见。通过实施一种过滤掉此类偏见项目的“门控”机制，研究人员发现许多模型的真实性能更接近于随机猜测，这凸显了基准设计在准确评估模型能力方面的重要性。