研究人员开发了一个新的理论框架,用于理解浅层神经网络如何在混合 Sobolev 空间中逼近函数。该框架建立了一个与激活函数无关的傅里叶块原理,该原理规定逼近率取决于目标函数的混合光滑度和激活函数的单变量逼近阶数。该研究还引入了一个结构化的单变量逼近条件,用于验证该原理对 ReLU^k、ELU 和余弦等特定激活函数,从而深入了解它们的最优逼近指数。 AI
影响 为理解浅层神经网络的逼近能力提供了理论基础,可能指导未来的模型设计。
排序理由 该集群包含一篇详细介绍神经网络逼近理论进展的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →