研究人员开发了VISTA，一种用于策略内自蒸馏（OPSD）的新方法，可增强AI模型的推理能力。与标准的OPSD不同，VISTA根据已验证的学生试运行来调整教师模型，特别关注教师模型和学生模型之间差异最大的区域。当应用于不同大小（1.7B、4B和8B参数）的Qwen3模型时，该方法在多个基准数据集（AIME24、AIME25、HMMT25）上表现出性能提升，优于现有的OPSD技术。 AI
影响 通过根据已验证的学生表现调整教师模型来增强AI模型的推理能力，有可能提高在复杂任务上的准确性。
排序理由 该集群描述了一篇详细介绍改进AI模型推理能力的新颖方法的研究论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2608.28306v1 Announce Type: cross Abstract: On-policy self-distillation (OPSD) improves reasoning by training a problem-only student on its own rollouts using dense token-level supervision from a privileged teacher that also sees a reference solution. However, standard OPSD…
On-policy self-distillation (OPSD) improves reasoning by training a problem-only student on its own rollouts using dense token-level supervision from a privileged teacher that also sees a reference solution. However, standard OPSD treats the teacher distribution as a fixed target…