exponential moving average
PulseAugur coverage of exponential moving average — every cluster mentioning exponential moving average across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
TecoPrompt 通过时序保守提示学习增强视觉-语言模型
研究人员开发了 TecoPrompt，一种用于视觉-语言模型鲁棒提示学习的新框架，在噪声监督下尤其有效。该方法从时序角度利用最优传输 (OT) 伪标签，通过检查多个 epoch 的轨迹稳定性来验证标签的可靠性。TecoPrompt 在各种数据集上取得了显著的性能提升，包括在具有大量噪声的 OxfordPets 数据集上准确率的显著提高。
-
新基准揭示 AI 模型难以预测研究趋势
研究人员开发了一个名为研究注意力预测 (RAP) 的新基准，用于评估大型语言模型跟踪 AI/ML 领域内研究注意力变化的能力。该基准涵盖 278 个 AI/ML 领域和 1,390 个时期，涉及 LLM 代理在受限的 arXiv 语料库中搜索以预测未来六个月的论文份额。结果表明，虽然搜索通常有帮助，但模型通常表现不如简单的指数移动平均基线，这凸显了证据获取和未来特定更新方面的瓶颈。在已实现结果上进行微调可以改善 Qwen3-4B 等特…
-
新研究探索专家混合模型的先进路由技术 · 跟踪 4 个来源
研究人员正在探索新的方法来提高专家混合（MoE）模型的性能和专业化。一种方法侧重于对齐不同层之间路由状态的几何结构，以揭示共享的底层动态，从而提高预测能力。另一种方法，对比路由机制（CoRM），使用针对指数移动平均的对比方法来集中路由信号，从而实现更好的专家专业化和在推理基准上的准确性提升。第三篇论文为理解 MoE 架构提供了一个统计框架，分析了近似、专家学习和路由器估计之间的权衡，并解释了共享专家如何捕获常见的预测结构。
-
新的CSWL框架通过频域分析增强无数据知识蒸馏
研究人员开发了一个名为CSWL的新框架，通过解决频域中的问题来改进无数据知识蒸馏（DFKD）。现有的DFKD方法通常过于依赖教师模型的偏好，并遭受模式崩溃的困扰，导致合成图像质量不一致。CSWL引入了频域增强，鼓励生成器考虑整个频率谱，从而抑制捷径学习。此外，具有指数移动平均机制的跨阶段频率重建任务促进了训练稳定性和长期优化。
-
EMASAM 为模型泛化提供高效、稳定的 SAM 替代方案
研究人员推出了一种名为 EMASAM 的新型优化技术，旨在提高模型泛化能力并降低计算成本。与传统的锐度感知最小化 (SAM) 不同，EMASAM 在其扰动步骤中无需额外的梯度计算。它通过利用主模型与其指数移动平均 (EMA) 影子模型之间的差异来指导扰动，从而提供了一种更稳定、更高效的替代方案。
-
新的CausalGate框架通过剪枝模块提升Transformer效率
研究人员开发了CausalGate，一个旨在提高Transformer推理效率的新框架。与依赖观察性启发式方法的前辈不同，CausalGate采用一种干预引导的方法来精确衡量丢弃单个Transformer模块的语义影响。然后，这种重要性层次结构被蒸馏成静态的、轻量级的门控，消除了运行时开销。在TinyLlama-1.1B、Qwen2.5-3B和Llama-3.1-8B等模型上的评估表明，CausalGate的性能优于现有的动态路由和层…
-
新的SPOFA框架稳定异构知识蒸馏
研究人员开发了SPOFA，一个旨在稳定异构知识蒸馏（HKD）的新框架。HKD旨在传输不同模型架构（如Transformers和CNNs）之间的知识，但由于特征范数差异和梯度冲突，常常面临训练不稳定的问题。SPOFA通过双重稳定机制解决这些问题，该机制解耦特征幅度，并使用动量驱动的缩放器来适应性地惩罚冲突梯度，以最小的计算开销实现了最先进的准确性。