一篇新论文认为,当前法律AI模型的基准不足以评估其在改善司法公正方面的潜力。研究强调,现有基准在预处理过的法律输入上测试模型,衡量的是性能的上限。然而,对于未聘请律师的诉讼当事人来说,输入通常是嘈杂且包含错误的,代表了当前基准未能捕捉到的下限。作者提出开发新的法律基准,直接评估模型在处理类似未聘请律师的诉讼当事人输入时的鲁棒性,以确保对促进司法公正的声明进行实证检验。 AI
影响 当前的法律AI基准可能高估了模型的能力,这可能会阻碍在改善未聘请律师的诉讼当事人司法公正方面取得真正进展。
排序理由 该集群包含一篇研究论文,讨论了当前法律领域AI基准的局限性。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →