Sparse Autoencoder (SAE)

研究发现 AI 模型的自动解释标签在跨语言时泛化能力不足

研究人员调查了稀疏自编码器 (SAE) 特征在语言模型中自动解释标签的泛化能力。他们以塞尔维亚语的双书写系统为测试平台，发现不同语言和脚本中相似内容激活的 SAE 特征显示出显著的重叠，表明存在真实的跨语言语义特征。然而，自动解释标签往往跟不上步伐，在塞尔维亚语中漏译相同含义的频率是英语的四倍，并且与塞尔维亚语拉丁字母相比，对塞尔维亚语西里尔字母的失败率更高。