Deletion Tuning

新方法可实现大型语言模型技能习得，权重改动极小

研究人员开发了一种名为“删除调优”（Deletion Tuning）的新方法，通过修改不到0.1%的权重，可以显著改变大型语言模型的能力。该技术通过将特定权重归零，在各种训练后模式下均能达到与完全微调相当的性能，同时保留更多模型的原始知识。另一种方法使用决策模型将工具调用等新技能提炼到Qwen 3.5 0.8B等小型大型语言模型中，实现了与LoRA相当的性能，延迟极低，且没有灾难性遗忘。