Eager
PulseAugur coverage of Eager — every cluster mentioning Eager across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的LACCO算法优化了低带宽网络上的语言模型训练
研究人员推出了一种名为LACCO的新型两阶段算法,旨在优化低带宽网络上的语言模型训练。LACCO通过将全局通信与局部计算重叠来解决分布式训练固有的同步开销,同时确保所有副本同时接收全局聚合更新。这种方法避免了Eager和Delayed DiLoCo等其他方法中存在的陈旧问题。在参数量高达5亿的模型上使用FineWeb数据集进行的实验表明,LACCO在各种通信间隔和副本数量下始终优于现有的通信重叠基线,显示出稳健的收益。
-
EAGER框架利用LLM增强电子商务查询推荐
研究人员开发了EAGER,一个新颖的两阶段框架,旨在为电子商务搜索生成更相关的查询建议。第一阶段,富化,使用监督微调和逐步增加信息丰富度和推理深度的课程,结合了合理性增强和多样性正则化。第二阶段,对齐,采用GRPO训练,并结合了业务信号和基于点击的偏好的混合奖励系统。EAGER在离线实验和在线A/B测试中均显示出显著的有效性,并已被一个主要的电子商务平台部署到生产环境中。
-
新方法通过分析置信度动态来优化 LLM 推理
两篇新的研究论文提出通过分析大型语言模型(LLM)在推理过程中的置信度水平来优化其推理时间的方法。第一篇论文 EAGer 使用了 token 级熵来动态分配计算资源,仅在不确定性高时才分支到多个推理路径。第二篇论文置信度动态增益(CDG)观察到,正确的推理轨迹往往会随着时间的推移而提高置信度,而错误的轨迹则会下降,并利用这种动态来选择更好的答案。这两种方法在复杂推理基准测试中都显示出显著的性能提升和计算量减少。