研究人员开发了NitiBench+,一个用于评估泰国法律问答系统的新基准。该基准解决了法律数据中时序相关性的关键问题,因为法律会随着时间而变化,而旧的基准通常会根据当前法规而非法院判决生效时的法规来评估答案。NitiBench+包含17个领域的1,670个条目,提供历史和当前的法律文本,并评估模型使用正确法律背景的能力。初步测试显示,使用当前法律而非历史法律会显著降低模型性能,突显了法律AI中时序意识的必要性。 AI
影响 强调了法律AI模型时序意识的必要性,可能影响未来的基准设计和模型开发。
排序理由 该项目是一篇介绍用于AI评估的新基准的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →