实体
Deep Equilibrium Models
Deep Equilibrium Models
PulseAugur coverage of Deep Equilibrium Models — every cluster mentioning Deep Equilibrium Models across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 3
层级分布 · 90 天
主题
关系
最近 · 第 1/1 页 · 共 3 条
-
Response Renormalization 改进了深度均衡模型的训练稳定性
研究人员开发了一个名为 Response Renormalization 的新框架，以提高深度均衡模型（DEQs）的训练稳定性。该方法解决了近奇异雅可比行列式的问题，该问题可能导致优化过程中梯度不可靠。通过选择性地提升伴随响应中的分母，该框架旨在控制放大而不过度抑制条件良好的敏感性，从而使参数更新更加可靠。
-
新的基于几何的DEQ模型以更少的参数增强图像恢复能力
研究人员开发了一种新颖的深度学习框架用于图像恢复，该框架解决了乘性伽马噪声和模糊造成的退化问题。该方法利用基于几何先验（如表面积和平均曲率）的显式、可解释的正则化器，这与依赖隐式正则化的传统DEQ模型不同。该框架采用镜像下降算法进行最小化，并通过Kurdyka-Lojasiewicz性质保证全局收敛到临界点。实验表明，该方法在可训练参数显著减少的情况下，实现了与最先进的DEQ模型相当的性能。
-
新的C-DEQ模型通过一致性蒸馏加速深度学习推理
研究人员开发了一个名为一致性深度均衡模型（C-DEQs）的新框架，以解决传统深度均衡模型（DEQs）推理速度慢的问题。通过使用一致性蒸馏，C-DEQs训练中间状态直接映射到平衡点，从而实现更快速、少步数的推理。该方法在相同的推理预算内，与标准DEQs相比显著提高了准确性，提供了计算和性能之间灵活的权衡。