Lyapunov Initialization

Lyapunov初始化方法增强深度网络稳定性

研究人员开发了一种名为Lyapunov初始化（Lyapunov initialization）的新方法来初始化深度神经网络。该技术基于对深度Leaky ReLU网络的严格概率分析，揭示激活稳定性受一个称为Lyapunov指数（Lyapunov exponent）的参数控制。新方法旨在将该指数保持在零，确保最大稳定性，并在实证测试中带来改进的学习性能。