PulseAugur
实时 11:15:46
实体 Gengxu Li

Gengxu Li

PulseAugur coverage of Gengxu Li — every cluster mentioning Gengxu Li across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_218197 ·

    新的LMPO方法通过控制响应长度来增强LLM训练

    研究人员推出了一种名为长度控制的基于边际的偏好优化(LMPO)的新方法,旨在改进用于训练大型语言模型的直接偏好优化(DPO)。LMPO通过引入一个统一的参考模型和一个平均对数概率优化策略,解决了长度偏差和内存效率低下等局限性。其核心创新在于Bradley-Terry框架内的长度控制、基于边际的损失函数,该函数可调节响应长度并增加首选输出和拒绝输出之间的区分度。在Mistral和LLaMA3模型上的实验表明,LMPO能有效控制长度,减少…