PulseAugur
中
实时 10:10:40
实体 LSC-DPO

LSC-DPO

PulseAugur coverage of LSC-DPO — every cluster mentioning LSC-DPO across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
  1. TOOL · CL_290347 ·

    LLM 后训练技术通过新的蒸馏和优化方法取得进展

    LLM 后训练技术近期取得了进展,重点关注参数高效微调、偏好优化和蒸馏。DIAL-OPD 等新方法在蒸馏中展示了从更少 token 中学习能力的提高,而 LSC-DPO 则为直接偏好优化提供了一种学习信号控制的方法。此外,对 Group Policy Optimization (GRPO) 的研究已识别出故障模式并提出了解决方案,GRPO 也被应用于生产 OCR 任务。

  2. RESEARCH · CL_284288 ·

    新方法通过连续和受控的偏好信号改进LLM优化 · 跟踪2个来源

    两篇新的研究论文介绍了使用偏好数据优化大型语言模型的先进方法。第一种方法,连续效用直接偏好优化(CU-DPO),超越了二元偏好,使用连续分数来捕捉细粒度的推理质量,从而在数学推理和代码生成方面取得了显著改进。第二种方法,学习信号控制的直接偏好优化(LSC-DPO),通过动态调节学习信号来增强敏感性和稳定性,改进了标准的直接偏好优化(DPO),并在各种基准测试中显示出比现有基线一致的改进。