PulseAugur
中
实时 05:56:45
English(EN) S-GAI: Spectral Geometry-Aware Initialization for Sigmoidal MLPs -- From Dataset Geometry to Network Weights

新的 S-GAI 框架将数据集几何嵌入 MLP 权重

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了 S-GAI，一种用于 Sigmoidal MLP 的新型初始化框架，可将数据集几何直接嵌入网络权重。该方法使用奇异值分解 (SVD) 从图像数据中估计类别的谱几何，创建比传统 Xavier 初始化更具信息量的初始化隐藏层。在 MNIST、Fashion-MNIST 和 CIFAR-10 上的实验表明，S-GAI 初始化模型在训练更少的情况下可达到可比的准确率，并且在隐藏层冻结时甚至优于随机初始化。 AI

影响 这项研究通过将数据的几何特性直接嵌入初始权重，有望实现更高效的神经网络训练。

排序理由 这是一篇详细介绍 MLP 新初始化技术的学术论文。

在 arXiv stat.ML 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新的 S-GAI 框架将数据集几何嵌入 MLP 权重

报道来源 [2]

  1. arXiv stat.ML TIER_1 English(EN) · Yi-Shan Chu ·

    S-GAI：用于Sigmoidal MLP的谱几何感知初始化——从数据集几何到网络权重

    arXiv:2606.28444v1 Announce Type: cross Abstract: Classical universal approximation theorems establish the expressive power of sigmoidal multilayer perceptrons, but they do not prescribe how initial weights should encode the geometry of a data distribution. We propose S-GAI, a sp…

  2. arXiv stat.ML TIER_1 English(EN) · Yi-Shan Chu ·

    S-GAI：用于 Sigmoidal MLP 的谱几何感知初始化 -- 从数据集几何到网络权重

    Classical universal approximation theorems establish the expressive power of sigmoidal multilayer perceptrons, but they do not prescribe how initial weights should encode the geometry of a data distribution. We propose S-GAI, a spectral geometry-aware initialization framework for…

相关实体

相关话题