Raslan

新研究探索ReLU神经网络函数空间的几何结构

研究人员探索了ReLU神经网络实现的函数空间的几何性质和闭包。他们建立了一个关于连续分段线性函数极限的普遍性结果，表明函数仿射的最小凸集数量在逐点收敛下是下半连续的。这项工作表征了浅层ReLU网络可实现的函数，并证明了固定宽度的浅层标量ReLU实现空间在加权上确界范数下是闭合的。然而，他们还构建了一个网络序列，其极限无法被相同架构实现，从而反驳了Petersen、Raslan和Voigtlaender关于非闭合性的猜想。