一项新的研究论文介绍了一个框架,用于评估多语言大语言模型(LLMs)的推理追踪一致性。研究发现,侧重于最终答案一致性或整体响应相似性的标准评估,可能显著高估跨语言的一致性。提出的追踪级分歧框架分析推理步骤的结构相似性和顺序一致性,结果显示人类判断与结构相似性的匹配度优于整体相似性基线。这种分歧是语言特有的,表明多语言大语言模型可能根据所用语言为同一问题提供不同的解释性证据,这对于需要可验证推理的应用至关重要。 AI
影响 凸显了多语言大语言模型推理中潜在的不一致性,影响了跨语言应用中的信任和安全。
排序理由 学术论文发表在arXiv上,详细介绍了一个新的LLM评估框架。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- cs.CL
- English
- Hugging Face
- Multilingual Large Language Models
- Same Answer, Different Reasons: Trace-Level Divergence in Multilingual Large Language Models
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →