实体
AlpacaEval 2
AlpacaEval 2
PulseAugur coverage of AlpacaEval 2 — every cluster mentioning AlpacaEval 2 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
LLM 后训练技术通过新的蒸馏和优化方法取得进展
LLM 后训练技术近期取得了进展,重点关注参数高效微调、偏好优化和蒸馏。DIAL-OPD 等新方法在蒸馏中展示了从更少 token 中学习能力的提高,而 LSC-DPO 则为直接偏好优化提供了一种学习信号控制的方法。此外,对 Group Policy Optimization (GRPO) 的研究已识别出故障模式并提出了解决方案,GRPO 也被应用于生产 OCR 任务。
-
新方法通过连续和受控的偏好信号改进LLM优化 · 跟踪2个来源
两篇新的研究论文介绍了使用偏好数据优化大型语言模型的先进方法。第一种方法,连续效用直接偏好优化(CU-DPO),超越了二元偏好,使用连续分数来捕捉细粒度的推理质量,从而在数学推理和代码生成方面取得了显著改进。第二种方法,学习信号控制的直接偏好优化(LSC-DPO),通过动态调节学习信号来增强敏感性和稳定性,改进了标准的直接偏好优化(DPO),并在各种基准测试中显示出比现有基线一致的改进。
-
Se-DPO 通过自演化代币信用增强语言模型训练
研究人员推出了一种新颖的直接偏好优化(DPO)方法 Se-DPO,该方法可动态调整单个代币对偏好信号的贡献。与传统上同等对待所有代币的 DPO 不同,Se-DPO 根据每个代币的隐式奖励幅度和置信度分配“代币信用”。这种自演化信用机制通过一个轻量级的校准网络实现,旨在提高训练过程中的对齐度。实验表明性能显著提升,在 Arena-Hard 等基准测试中,Se-DPO 的表现比标准 DPO 高出 12.2 个百分点。