研究人员开发了一个新的理论框架来理解神经网络中的秩提升,重点关注随机初始化的隐藏层实现此属性所需的宽度。该研究为正齐次非多项式激活函数提供了无量纲界限,显著改进了先前通用的维度保证。这项工作统一并推广了各种激活函数的稳定秩提升保证,采用矩阵集中和核分析等技术来建立稳定秩提升的界限。 AI
影响 为神经网络架构和数据分离能力提供了理论见解。
排序理由 该集群包含一篇在 arXiv 上发表的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →