AMPLE-Math

新数据集AMPLE-Math 探究特权信息在 LLM 自蒸馏中的价值

研究人员开发了一个新的数据集 AMPLE-Math，其中包含超过 5000 个数学问题，用于研究特权信息对语言模型按策略自蒸馏（OPSD）的影响。他们的发现表明，虽然 OPSD 可以通过为教师模型提供已解出的答案等额外信息来增强模型的学习，但实际收益适中，并且高度依赖于学生模型的训练和评估方式。研究表明，特权参考的价值更多在于促进现有推理能力的跨模态迁移，而不仅仅是揭示更多解决方案。