ContractScrub

新基准揭示大型语言模型（LLM）在法律合同审查中存在令人惊讶的局限性

研究人员推出了ContractScrub，这是第一个专门用于评估大型语言模型（LLM）在合同审查（法律工作中一项关键任务）能力的基准。该基准由经验丰富的律师手工制作合同组成，涵盖了诸如定义术语误用和语言不一致等各种错误类别。尽管LLM有潜力自动化这项常规但艰巨的工作，但当前最前沿的模型表现却出人意料地差，只有一个模型达到了0.75的宏平均召回率，这凸显了进行领域特定评估的必要性。