GasolSun36

新框架为AI蒸馏生成合成问题，无需正确答案

研究人员开发了一个名为Ask-to-Distill的新框架，用于策略内蒸馏（OPD），这是一种使用问题来转移分布知识的方法。该框架能够生成对蒸馏有价值的合成问题，而无需其正确答案。该系统通过使用从固定的师生对计算出的问题价值的分布代理来优化合成器。通过从更短的学生回应中引出更密集的监督，这种方法在数学推理和代码生成等各种任务中都显示出性能和教师差距恢复能力的提高。