Direct-OPD

新方法提高了大型语言模型的知识迁移效率

研究人员开发了一种名为选择性监督直接OPD（S^2D-OPD）的新方法，以提高大型语言模型中知识迁移的效率。该技术解决了原始直接OPD方法的局限性，该方法即使在候选词元概率质量下降时也会分配监督。S^2D-OPD优先关注教师模型和参考模型之间发散度较高的状态，仅保留前10%的状态。跨不同模型大小和基准的实验表明，S^2D-OPD相比密集直接OPD始终提高了未见数据的准确性。