一个名为norregel的新基准测试已被开发出来，用于测试语言模型从挪威法律文本中提取过时数值的能力。该基准测试包含从Lovdata的开放数据中提取的916个项目，评估模型是根据信息的生效日期提供正确、过时、错误还是无法解释的答案。在初步测试中，Opus 5.5和Sonnet 4.6的准确率各不相同，Opus 5.5在主要项目上正确回答了46.7%。随后的预注册运行表明，对于在模型知识截止日期之后生效的数值，过时的答案更为常见，但这一发现的稳健性需要进一步研究。 AI
影响 该基准测试有望提高LLM在时间敏感的法律和金融数据提取方面的准确性。
排序理由 该项目描述了一个用于评估语言模型在特定任务上的新学术基准测试，属于研究范畴。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
