DeltaPrompts

DeltaPrompts 通过针对模型能力差距来提升 VLM 推理能力

研究人员推出了一种名为 DeltaPrompts 的新方法，用于改进知识向小型视觉语言模型 (VLM) 的蒸馏。他们发现，许多现有提示提供的学习信号很少，因为教师模型和学生模型已经产生相似的输出。DeltaPrompts 主动生成合成提示，以暴露模型之间的能力差距，从而实现更有效的学习。这种方法在各种基准测试中，使 Qwen3-VL-8B-Thinking 等模型的推理能力相对提高了高达 15%。