实体
Functional Gradient Descent
Functional Gradient Descent
PulseAugur coverage of Functional Gradient Descent — every cluster mentioning Functional Gradient Descent across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
CAGE-NAS 方法在函数空间中优化神经网络增长
研究人员开发了 CAGE-NAS,一种在函数空间中进行决策以高效增长神经网络的新颖方法。该方法使用基于函数梯度近似的可接受性标准来确定网络的表示是否足够或需要扩展。当满足标准时,架构保持稳定;如果不满足,则应用保持函数不变的扩展。在实验中,CAGE-NAS 在给定参数预算内实现了性能排名前 0.2% 的架构,而无需详尽枚举。
-
新的AI方法应对持续学习和函数梯度下降
研究人员提出了持续学习AI模型的新方法,解决了在不损害现有能力的情况下整合新知识的挑战。一种方法KeepLoRA++利用层缩放残差梯度自适应来平衡视觉-语言模型中的知识保留和可塑性。另一种方法ReGrad将梯度视为可检索单元,从而无需累积权重漂移即可进行参数化知识注入。此外,一种新的函数梯度下降算法可以自适应函数梯度表示,提供改进的收敛保证和性能。