decoder-only multilingual LLMs

研究发现大型语言模型中的函数向量在翻译方面基本不依赖语言

研究人员调查了函数向量（FVs），即在上下文学习过程中从模型激活中提取的任务表示，是否具有语言无关性。他们以机器翻译为案例，在三种多语言大型语言模型上进行了研究，发现从英语到其他语言的翻译函数向量提高了多种未见过语言的翻译准确性。研究还表明，这些函数向量编码的是一种基本不依赖语言的翻译信号，而不是特定语言对的映射，因为表现最佳的标记和排名靠前的注意力头在各种语言之间是共享的。