Style-Aligned Refinement

AI研究：高质量数据可能损害小型模型的数学推理能力

一篇新研究论文在将强大AI模型的知识提炼以提升小型模型数学推理能力的过程中，识别出了一个“质量-效用悖论”。研究发现，由更强大的“Oracle”模型精炼的数据，虽然在质量指标上得分更高，但与通过拒绝采样选择的数据相比，实际上会导致小型模型性能变差。这是因为Oracle精炼引入了分布漂移，增加了小型模型的适应成本。为解决此问题，研究人员提出了“风格对齐精炼”方法，该方法在逻辑修复与小型模型原生推理分布的兼容性之间取得平衡，从而提高效用。