LegalRewardBench

新的基准LegalRewardBench改进了LLM在法律任务中的事实核查能力

研究人员开发了LegalRewardBench (LRB)，这是一个旨在评估大型语言模型 (LLM) 在法律背景下的事实核查和弃权能力的新基准。该框架将现有的法律问答数据集转化为上下文偏好数据，解决了当前奖励模型优先考虑一般偏好而非特定法律推理的局限性。实验表明，使用经过长度平衡的增强技术，结合法律和一般上下文偏好数据，可以显著提高事实核查的法律评估能力，并观察到从维多利亚州刑法数据到美国法律基准的显著跨司法管辖区迁移。