Dataset Geometry

新的 S-GAI 框架将数据集几何嵌入 MLP 权重

研究人员开发了 S-GAI，一种用于 Sigmoidal MLP 的新型初始化框架，可将数据集几何直接嵌入网络权重。该方法使用奇异值分解 (SVD) 从图像数据中估计类别的谱几何，创建比传统 Xavier 初始化更具信息量的初始化隐藏层。在 MNIST、Fashion-MNIST 和 CIFAR-10 上的实验表明，S-GAI 初始化模型在训练更少的情况下可达到可比的准确率，并且在隐藏层冻结时甚至优于随机初始化。