Katrina Drozdov (Evtimova)

新基准显示 AI 代理在可靠的法律研究方面存在困难

一个名为 Legal Research Bench (LRB) 的新基准已被开发出来，用于衡量 AI 代理在执行复杂法律研究任务方面的端到端可靠性。该基准由法律专家创建的 413 个开放式问题组成，并附有标准答案和评分标准。测试结果显示，即使是表现最好的模型 Claude Opus 4.8，准确率也仅为 42.9%，表明当前的 AI 代理距离关键法律工作流程的可靠性还有很长的路要走。性能因任务而异，需要协调冲突权威的问题尤其具有挑战性。