Progress-Aware Distillation

进度感知蒸馏解决了小型语言模型代理的停滞问题

研究人员开发了一种名为进度感知蒸馏（ProD）的新技术，以解决小型语言模型（SLM）代理中的停滞问题。该方法检测并惩罚代理推理过程中重复、无益的循环，这是阻碍其有效性的常见问题。通过将学生代理和教师代理进度之间的差距纳入训练目标，ProD 有助于 SLM 更有效地逼近大型模型的能力。使用八个 SLM 进行的实验表明，ProD 显著提高了这些代理的任务完成成功率和速度。