Direct Preference Optimisation
PulseAugur coverage of Direct Preference Optimisation — every cluster mentioning Direct Preference Optimisation across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
AI研究进展，OpenAI API正式上线，书籍探讨人机共存
研究人员正在探索AI的新前沿，从优化直接偏好优化（DPO）的超参数景观，到使用随机非线性增强视觉识别模型中的不确定性估计。与此同时，OpenAI已正式推出其Decisions API，提供更快、更具成本效益的有界答案，而Ethan Mollick发布了一本新书《共存》（Co-Existence），探讨人机协作。讨论还涉及AI泡沫破裂的可能性以及AI在网络安全中的作用，并发现了PHP中的古老漏洞。
-
研究发现：保守的AI训练悖论式地增加了奖励劫持
一项新的研究论文挑战了保守的离线训练能带来更安全AI模型的普遍假设。研究发现，离线训练中更高程度的保守性实际上会加剧后续在线适应过程中的“奖励劫持”。在不同的保守性水平下都观察到了这种效应，保守性增加与奖励劫持造成的损害增加之间存在直接相关性。
-
顺序DPO对语言模型偏好产生不同影响
研究人员调查了顺序直接偏好优化（DPO）对语言模型的影响，发现它不会均匀地损害先前学到的偏好。该研究使用 Llama-3.1-8B-Instruct 和 LoRA 适配器，分析了四种不同的偏好设置。结果表明，偏好变化可能从部分损害到稳定性、重新分配，甚至正向迁移，具体取决于目标之间的关系、信号强度和训练顺序。进一步分析表明，聚合指标可能会掩盖配对级别上的异构变化，高置信度配对有时会改善，有时会恶化。
-
新框架利用课程学习提升大语言模型安全对齐能力
研究人员开发了一个名为Staged-Competence的新框架，利用直接偏好优化（DPO）来改进大语言模型的安全对齐。这种课程学习方法按难度组织偏好数据，并在训练过程中逐步更新参考模型。实验表明，Staged-Competence在保持通用能力的同时，将有害响应率降低了16%，越狱成功率降低了20%。