实体
PKU-SafeRLHF
PKU-SafeRLHF
PulseAugur coverage of PKU-SafeRLHF — every cluster mentioning PKU-SafeRLHF across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新方法通过建模奖励不确定性来增强LLM对齐
研究人员开发了一种名为不确定性感知奖励建模（UARM）的新方法，以提高大型语言模型中来自人类反馈的强化学习（RLHF）的稳定性。传统的RLHF方法存在困难，因为它们的奖励模型提供确定性预测，未能表明何时其估计是不可靠的。这可能导致策略放大错误的奖励信号，造成“奖励破解”。UARM通过分位数共轭预测和基于方差分解的策略优化优势重加权来整合校准的不确定性，从而解决这个问题。在HelpSteer和UltraFeedback等基准数据集上的实…
-
新的CompassDPO框架增强了AI安全对齐的鲁棒性
研究人员推出了一种名为CompassDPO的新框架，旨在增强语言模型安全对齐的鲁棒性。该方法通过控制优化动力学，解决了直接偏好优化（DPO）对不完美监督的敏感性问题。CompassDPO使用隐式奖励边际作为指导，来调节样本对更新方向和幅度的影响，而无需外部奖励模型或额外数据。