Candidate Residual Adapter

新的SRA框架通过纠正蒸馏模型不匹配来增强大语言模型的推理能力

研究人员开发了选择性残差适应（SRA）框架，旨在提高从大型模型蒸馏而来的小型语言模型的推理能力。SRA利用差异门来精确识别学生模型分布与教师模型不一致的区域，并利用候选残差适配器校准Top-K logits，从而纠正不匹配。这种即插即用的方法在Qwen3模型的数学基准测试中表现出持续的性能提升，平均Pass@16提高了高达4.37个百分点，同时不影响通用能力。