FLNA

在线策略蒸馏更新被发现稀疏且几何特征独特

一篇新的研究论文探讨了在线策略蒸馏（OPD）的机制，这是一种结合在线策略学生轨迹和密集教师监督的训练后技术。研究表明，OPD更新很小且在坐标上是稀疏的，主要影响前馈网络（FFN）模块。这种稀疏性是有功能的，因为仅训练识别出的子网络即可接近完全训练的性能。此外，研究表明，虽然更新在数值上是满秩的，但它们在频谱上是集中的，并且与原始权重的秩主奇异子空间不一致，这表明OPD保留了在线策略训练后编辑的独特几何特性，而不是作为标准的密集参数重写。