Dedicated Feature Crosscoders (DFC)

新方法分离大型语言模型中的工具使用特征，实现行为控制

研究人员发现了一种名为专用特征交叉编码器（DFC）的方法，用于分离和理解语言模型中实现工具使用能力的特定特征。通过将 DFC 应用于 Qwen2.5-3B 模型，他们发现这些分离的特征显著提高了结构化工具调用生成能力，甚至可以将这种能力转移到冻结的基础模型上，这种现象被称为“能力溢出”。这项工作表明，DFC 可以将智能体式大型语言模型的能力集中到一个最小的、可控的特征集中，从而实现运行时行为控制。