开发了一个新的基准测试，用于检验大型语言模型（LLMs）在多大程度上能依据实际的日本法律条文来回答问题。该基准测试使用了包含超过6900条法律条文的官方e-Gov法律API v2，来验证LLMs引用的准确性。测试结果显示，当使用日语提示时，三分之二的本地LLMs编造法律条文的频率高于使用英语提示时，这表明存在与语言相关的 grounding 问题。 AI
影响 凸显了大型语言模型在法律领域潜在的可靠性问题，以及特定语言 grounding 的重要性。
排序理由 该条目描述了一个用于评估大型语言模型在法律文本中 grounding 的新基准测试。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
