PulseAugur
中
实时 05:24:16
English(EN) ContractScrub: A benchmark for final review of legal contracts

新基准揭示大型语言模型（LLM）在法律合同审查中存在令人惊讶的局限性

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出了ContractScrub，这是第一个专门用于评估大型语言模型（LLM）在合同审查（法律工作中一项关键任务）能力的基准。该基准由经验丰富的律师手工制作合同组成，涵盖了诸如定义术语误用和语言不一致等各种错误类别。尽管LLM有潜力自动化这项常规但艰巨的工作，但当前最前沿的模型表现却出人意料地差，只有一个模型达到了0.75的宏平均召回率，这凸显了进行领域特定评估的必要性。 AI

影响 凸显了通用LLM能力与专业领域任务之间的差距，表明法律科技领域需要更具针对性的基准。

排序理由 该项目是一篇研究论文，介绍了一个用于评估LLM在特定任务上表现的新基准。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新基准揭示大型语言模型（LLM）在法律合同审查中存在令人惊讶的局限性

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Yejin Bang, Kirsty Fielding, Brandan Oliver, Brian Birke, Nabeel Seedat, Andrew M. Bean ·

    ContractScrub：法律合同最终审查基准

    arXiv:2608.20204v1 Announce Type: new Abstract: Legal work, with its heavy reliance on processing large amounts of text, is often considered one of the domains most exposed to the use of LLMs. Contract ``scrubbing,'' the final review of transactional agreements for errors and inc…

相关实体

相关话题