Gengze Xu

新理论解释了较弱的AI教师如何赋能更强的学生模型

研究人员利用Bregman散度下的广义偏差-方差分解，对弱到强泛化（W2SG）进行了理论研究。他们的分析表明，当学生模型有效逼近教师的后验均值时，W2SG更有可能发生。研究表明，增加学生模型的规模可以确保在平方损失下的收敛，而在交叉熵损失下，降低学生模型的预测分布熵可以促进W2SG。这些发现得到了实证验证，表明反向交叉熵持续改善学生模型的性能。