研究人员推出了一种新颖的循环自蒸馏框架SPECTRUM,旨在改进代码生成模型。与可能导致正确解多样性收缩的传统自蒸馏方法不同,SPECTRUM旨在保留更广泛的正确实现方法。该方法通过重新估计键/值几何结构并应用谱调制来实现这一点,使单个学生模型能够在没有外部评估的情况下从更广泛的生成输出来学习。在MBPP、HumanEval和APPS Intro等基准测试上的实验表明,SPECTRUM在保持和转移解多样性方面显著优于普通自蒸馏。 AI
影响 增强了AI生成代码的多样性,可能导致软件开发中出现更健壮和更多样化的解决方案。
排序理由 该集群包含一篇详细介绍AI模型训练新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →