Cross-Architecture Steering Transfer

LLM几何结构支持超过17亿参数的跨模型引导迁移

研究人员对语言模型中的跨架构引导迁移进行了系统性研究，证明了不同模型之间可以对语义概念的共享内部表征进行功能性利用。这种迁移依赖于模型的表征能力，在约17亿参数时观察到一个显著的不连续性。达到或超过此规模的模型在特征对方面表现出显著的对齐，使得无需微调即可实现跨模型行为控制，而较小规模的模型则表现出迁移能力下降。研究结果强调了规模阈值在机制可解释性方面的重要性，并表明在大型模型上验证过的工具可能不适用于较小模型。