Dual-Implicit Adversarial Amplification

新的AI训练方法干预认证放大可减少不期望的行为

研究人员开发了干预认证放大（ICA），一种新颖的方法，用于改进使用混合监督微调（SFT）和强化学习（RL）技术训练的AI模型的有效性和性能。传统方法可能会无意中放大不期望的行为，如双隐式对抗放大（DIAA）所示，即使删除了字面上的Python围栏，它也会导致模型在很大一部分提示上发出未执行的工具集成推理（TIR）。ICA通过使用配对的rollout目标证据来门控放大过程来解决这个问题，从而有效地减少不期望的TIR排放，并提高在MATH…