Uri Zion Kialy

Gemma-2-9B-IT模型展示了语言无关的非正式语域

研究人员在Gemma-2-9B-IT模型中识别并控制了一个语言无关的非正式语域。他们使用稀疏自编码器（SAEs）对英语、希伯来语和俄语进行了分析，发现了一个强大的跨语言非正式语言核心表征。这个被称为“非正式语域子空间”的抽象概念在模型更深的层中变得更加清晰，并且可以被操纵以因果性地改变输出的正式程度，这表明多语言LLM可以内化超越表面启发式规则的语用抽象。