Geometrically Modified Outputs

新技术通过放大输出失真来增强生成模型的自训练

研究人员开发了一种名为几何修改输出（GMOs）的新技术，以改进生成模型的自训练。该方法解决了模型退化问题，也称为模型崩溃或自噬障碍，当模型在自身输出来进行持续训练时会发生。通过重新加权生成器输入-输出雅可比行列式的奇异值，GMOs放大了模型的固有偏差和失真，产生了更强的负信号。这种放大的信号增强了Neon和SIMS等现有负引导自训练方法的有效性，与使用标准模型输出相比，性能得到了提升。