Yao Liu

中国法律案例检索基准存在基于指控的设计缺陷

一项对中国法律案例检索（LCR）基准的新审计显示，驱动性能的主要因素并非先进的检索模型，而是基准围绕法律指控的构建方式。研究人员发现，仅通过共同的主要指控对案例进行排序，并结合基本的BM25排序，就能弥补简单系统和复杂系统在LeCaRDv2基准上的近乎全部性能差距。这表明当前的基准可能无法准确衡量真正的法律推理能力，因为相关性往往由指控本身决定，而非深入的案例分析。该研究提出了一个可重用的协议，用于筛查未来基准中类似的构造效度问题。