Multilingual Distractor Interference

新测试显示大型语言模型难以处理混合语言提示

一种名为多语言干扰（MDI）的新评估协议已被开发出来，用于评估大型语言模型如何处理包含不相关外语句子的提示。当在 Llama-3.1-8B 模型上使用印地语干扰进行测试时，该模型经常切换到梵文书写系统，尽管在精确匹配评分中这看起来像是幻觉，但通常保留了语义的正确性。其他模型在面对这种多语言干扰时倾向于不作答。该研究强调了在评估多语言大型语言模型可靠性时，区分脚本切换和语义错误的重要性，尤其是在检索增强生成等应用中。