Alignment-Aware Selection

研究发现，AI对齐在微调过程中通过在线数据选择被隐式塑造

一篇新的研究论文提出，在监督微调（SFT）过程中选择数据是一种隐式对齐机制，而不是将对齐仅仅视为一个后续步骤。该研究比较了各种在线数据选择方法——随机、基于损失、基于质量和基于多样性——证明这些选择会显著改变模型的行为，例如拒绝率和冗长程度，即使没有明确的偏好优化。研究人员引入了对齐漂移审计（ADA）来量化这些选择引起的行为变化，并引入了对齐感知选择（AAS）作为一种诊断工具，以在保持数据效率的同时管理漂移。