CrossLex

新的CrossLex基准测试LLM的跨司法管辖区法律推理能力

研究人员推出了CrossLex，这是一个旨在评估大型语言模型在不同司法管辖区内法律推理能力的新基准。该基准使用相同的案件事实，但应用了中国、加利福尼亚州和德国特有的法律规则，涵盖了五个法律领域。CrossLex包含超过6000个带有法律答案和引用的实例，并提出了一个新的名为“Grounded Joint”的指标来评估正确性和来源约束性。初步实验表明，虽然当前的LLM通常可以在单一司法管辖区内准确回答法律问题，但它们在跨司法管辖区比较方面存在困难。