研究人员探索了ReLU神经网络实现的函数空间的几何性质和闭包。他们建立了一个关于连续分段线性函数极限的普遍性结果,表明函数仿射的最小凸集数量在逐点收敛下是下半连续的。这项工作表征了浅层ReLU网络可实现的函数,并证明了固定宽度的浅层标量ReLU实现空间在加权上确界范数下是闭合的。然而,他们还构建了一个网络序列,其极限无法被相同架构实现,从而反驳了Petersen、Raslan和Voigtlaender关于非闭合性的猜想。 AI
影响 为理解ReLU实现空间的边界和退化提供了理论工具,可能影响未来的神经网络架构设计。
排序理由 该集群包含一篇详细介绍神经网络函数空间理论研究的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →