实体
Anthropic HH
Anthropic HH
PulseAugur coverage of Anthropic HH — every cluster mentioning Anthropic HH across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新方法通过连续和受控的偏好信号改进LLM优化 · 跟踪2个来源
两篇新的研究论文介绍了使用偏好数据优化大型语言模型的先进方法。第一种方法,连续效用直接偏好优化(CU-DPO),超越了二元偏好,使用连续分数来捕捉细粒度的推理质量,从而在数学推理和代码生成方面取得了显著改进。第二种方法,学习信号控制的直接偏好优化(LSC-DPO),通过动态调节学习信号来增强敏感性和稳定性,改进了标准的直接偏好优化(DPO),并在各种基准测试中显示出比现有基线一致的改进。
-
新的DPO方法改进了LLM与噪声偏好数据的对齐
研究人员开发了一种名为元数据无关元重加权直接偏好优化(MF-MR-DPO)的新方法,用于改进大型语言模型(LLM)与人类偏好的对齐,即使偏好数据存在噪声。该方法利用了双层优化框架和一种不依赖显式元数据的、由任务无关的元知识驱动的技术。该方法还采用了一种可扩展的训练方案,使用中心差分近似和LoRA微调来降低与高阶梯度相关的计算成本。在TL;DR摘要和Anthropic HH数据集上的实验表明,在各种噪声水平下,MF-MR-DPO的性能优…