研究人员推出了一种名为参考特征图谱（Reference Feature Atlases）的语言模型审计新方法。该方法涉及在一个参考模型组上训练一个稀疏特征库，然后通过仅拟合一个线性解码器来重用该库来解释新的目标模型的内部特征。该技术提供两种不同的视角：一种将目标模型映射到参考组的已解释特征上，提供一个稳定的坐标系；另一种则识别图谱无法重建的特征，指示参考组之外的方面。在 Mistral 和 Qwen-2.5 模型上的实验表明，残差通道能够控制注入的机制，并揭示政治框架等相对于参考组的现象。 AI
影响 为理解和比较不同语言模型的内部工作机制提供了一个标准化框架。
排序理由 该集群包含一篇详细介绍语言模型审计新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
