实体
Anthropic HH
Anthropic HH
PulseAugur coverage of Anthropic HH — every cluster mentioning Anthropic HH across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的LSC-DPO方法增强语言模型对齐
研究人员推出了一种新颖的方法LSC-DPO，用于增强直接偏好优化（DPO）以对齐语言模型。通过动态控制学习信号，LSC-DPO旨在在训练过程中保持最佳敏感度，解决了随着偏好差距增加，标准DPO损失响应性降低的问题。在AlpacaEval 2和MT-Bench等基准测试上的实验表明，LSC-DPO的性能优于现有的DPO方法和其他偏好优化基线。该研究还探讨了初始系数设置如何影响学习轨迹，并提出了一种补偿规则来减少性能变异性。
-
新的DPO方法改进了LLM与噪声偏好数据的对齐
研究人员开发了一种名为元数据无关元重加权直接偏好优化（MF-MR-DPO）的新方法，用于改进大型语言模型（LLM）与人类偏好的对齐，即使偏好数据存在噪声。该方法利用了双层优化框架和一种不依赖显式元数据的、由任务无关的元知识驱动的技术。该方法还采用了一种可扩展的训练方案，使用中心差分近似和LoRA微调来降低与高阶梯度相关的计算成本。在TL;DR摘要和Anthropic HH数据集上的实验表明，在各种噪声水平下，MF-MR-DPO的性能优…