一篇新的研究论文提出，在监督微调（SFT）过程中选择数据是一种隐式对齐机制，而不是将对齐仅仅视为一个后续步骤。该研究比较了各种在线数据选择方法——随机、基于损失、基于质量和基于多样性——证明这些选择会显著改变模型的行为，例如拒绝率和冗长程度，即使没有明确的偏好优化。研究人员引入了对齐漂移审计（ADA）来量化这些选择引起的行为变化，并引入了对齐感知选择（AAS）作为一种诊断工具，以在保持数据效率的同时管理漂移。 AI
影响 表明微调过程中的数据选择是AI对齐的一个关键但常被忽视的因素，可能简化未来的对齐策略。
排序理由 关于一种新AI对齐方法的学术论文。
在 Hugging Face Daily Papers 阅读 →
- Aas
- Ada
- Alignment-Aware Selection
- Alignment Drift Auditing
- online data selection
- Raheem Jarbo
- reinforcement learning
- supervised fine-tuning
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
