研究人员在Gemma-2-9B-IT模型中识别并控制了一个语言无关的非正式语域。他们使用稀疏自编码器(SAEs)对英语、希伯来语和俄语进行了分析,发现了一个强大的跨语言非正式语言核心表征。这个被称为“非正式语域子空间”的抽象概念在模型更深的层中变得更加清晰,并且可以被操纵以因果性地改变输出的正式程度,这表明多语言LLM可以内化超越表面启发式规则的语用抽象。 AI
影响 证明了多语言LLM可以发展出可移植的、语言无关的语用抽象,有可能改善跨语言交流和对细微语言使用的理解。
排序理由 该集群包含一篇详细介绍LLM内部表征新研究发现的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →