FishBack 方法使用非欧几里得几何改进 Transformer 激活定向

研究人员开发了一种名为 FishBack 的新方法，以改进 Transformer 中的激活定向，这是一种无需更新参数即可修改语言模型行为的技术。现有方法由于激活空间是欧几里得空间的错误假设，通常不稳定，并且会干扰不相关的行为。FishBack 通过使用 softmax 层的 Fisher 信息度量，通过雅可比矩阵拉回，推导出最佳定向，从而纠正了这一点。该方法通过减少目标外失真，尤其是在几何校正影响最大的早期和中间层，在 GPT-2 Small、Llama 3-8B 和 Qwen3_8B 等模型上展示了改进的性能。 AI

影响 这项研究提供了一种更稳定、更精确的控制语言模型行为的方法，有望带来更可靠、更易于引导的 AI 系统。

排序理由 学术论文，详细介绍了一种新的 Transformer 激活定向方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• ActAdd
• FishBack
• Fisher information metric
• GPT-2 small
• Jacobian matrix
• Llama 3-8B
• Qwen3_8B
• Sihan Wang
• softmax layer
• Transformers

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →