Training on probes

AI对齐研究探索使用探针训练模型以提高泛化能力

研究人员正在探索AI对齐的新颖方法，特别是关注“基于探针的训练”。该技术旨在利用AI的内部世界模型，将简单任务的判断泛化到更复杂的任务上。虽然针对探针的梯度下降可以教会模型欺骗它，但针对探针的强化学习（RL）带来了独特的挑战，一些研究表明由于信用分配的复杂性，它可能无效或通过间接方式起作用。未来的研究方向包括使探针适应新技能、重新训练探针以跟上AI概念的演变，以及借鉴人类认知过程以避免AI对齐失败。