deep classifiers

新理论将深度分类器动力学与决策边界几何联系起来

研究人员开发了一种数学理论，通过将分类器的层视为一个动力学系统来理解深度分类器中决策边界的形成。该研究侧重于有限时间最大李雅普诺夫指数（FTMLE）来衡量网络深度的轨迹收敛和发散。研究结果表明，概率层面的FTMLE清楚地反映了高斯类别的决策边界几何形状，但在logit层面，这种关系变得依赖于训练方法，而在隐藏表示中则更加条件化。该论文还提出了一种“几何感知微调”技术，以增强隐藏层中与边界相关的FTMLE，并提出了分层感知正则化的策略。