Aggregation-Induced Drift

新的LLM训练方法可对抗AI模型的“多奖励破解”

研究人员发现了一种称为“多奖励破解”的现象，即在LLM训练后结合多个奖励会导致主要任务性能下降。当聚合方法（特别是对称聚合）偏向辅助奖励而非主要目标时，就会发生这种情况。为了对抗这种现象，提出了一种名为Trust-Anchored Gating (TAG)的新方法。TAG动态选择一个锚定奖励通道，并根据其满意度来门控辅助奖励，从而可证明地防止了其他聚合技术中出现的性能下降。