一项对中国法律案例检索（LCR）基准的新审计显示，驱动性能的主要因素并非先进的检索模型，而是基准围绕法律指控的构建方式。研究人员发现，仅通过共同的主要指控对案例进行排序，并结合基本的BM25排序，就能弥补简单系统和复杂系统在LeCaRDv2基准上的近乎全部性能差距。这表明当前的基准可能无法准确衡量真正的法律推理能力，因为相关性往往由指控本身决定，而非深入的案例分析。该研究提出了一个可重用的协议，用于筛查未来基准中类似的构造效度问题。 AI
排序理由 学术论文，详细介绍了一项新的审计和评估AI基准的拟议协议。[lever_c_demoted from research: ic=1 ai=1.0]
在 arXiv cs.IR (Information Retrieval) 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
