一篇新发表在arXiv上的研究论文详细介绍了多语言语言模型在名称以不同脚本呈现时，在实体匹配方面遇到的困难。研究发现，像Qwen2.5-7B这样的模型在识别同一人物时，当其姓名以梵文（Devanagari script）而非拉丁字母（Latin script）书写时，准确率显著降低，尤其是在马拉地语（Marathi）和马拉雅拉姆语（Malayalam）的提示中。研究人员指出，尽管分词碎片化并非主因，但标量校准和模型中特定的中间层激活是导致这种依赖脚本的歧视的关键因素，这表明有针对性的干预措施可以改善跨脚本身份判断。 AI
影响 凸显了多语言大模型的一个关键局限性，可能影响全球信息检索和跨文化人工智能应用。
排序理由 研究论文，详细介绍了多语言大模型的一种特定失败模式。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
