LinBreg

新方法为深度神经网络稀疏性提供自适应控制

研究人员开发了一种自适应正则化方法，以更好地控制深度神经网络中的稀疏性，解决了传统 $\ell_1$ 惩罚会间接影响稀疏率的挑战。该新方案根据模型当前稀疏率与目标稀疏率之间的差异动态调整正则化参数。在说话人验证任务上的实验表明，与密集模型相比，自适应方法能够可靠地实现 75% 到 99% 之间的稀疏性目标，在早期训练中收敛更快，并保持了更好的分布外鲁棒性。