一项新的基准已被开发出来，用于评估大型语言模型（LLMs）应用于哥伦比亚法律体系时的可靠性。该基准包含跨越十个法律领域和各种问题格式的1,042个条目，揭示了15个评估模型之间显著的性能差异。虽然Gemini 3.1 Pro在选择题上取得了高准确率，但对于自由文本法律答案的事实正确性，任何模型的准确率均未超过0.45。研究还强调了答案相关性和正确性之间令人担忧的分离，这表明大型语言模型通常看起来响应迅速，但事实不准确，因此在法律任务中需要专家监督。 AI
影响 强调了在非英语法律体系中，大型语言模型需要专门的基准和专家监督，这可能会影响其全球采用和信任度。
排序理由 学术论文，介绍了一个用于特定领域大型语言模型评估的新基准。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
