PulseAugur
中
实时 18:01:55
English(EN) Shallower ReLU Network Representations via Exact Linear Algebra

ReLU 网络可以用更少的层表示最大值函数

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员已经证明，对于任何 n 高达 10 的情况，n 个实数的最大值都可以用具有两个隐藏层的 ReLU 网络精确表示。这是通过将问题转化为精确的有理线性代数问题，并通过计算求解必要的抵消来实现的。该研究还表明，对于 n > 10 的情况，最大值可以用比先前认为的更少的隐藏层来表示，从而改进了先前的界限。 AI

影响 这项研究推进了对 ReLU 网络的理论理解，可能影响未来神经网络架构的设计和效率。

排序理由 该集群包含一篇发表在 arXiv 上的研究论文，详细介绍了神经网络表示方面的理论进展。

在 arXiv cs.NE (Neural & Evolutionary) 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

ReLU 网络可以用更少的层表示最大值函数

报道来源 [2]

  1. arXiv cs.LG TIER_1 English(EN) · Kilian Rue{\ss}, Gennadiy Averkov, Florestan Brunck, Moritz Grillo, Christoph Hertrich, Georg Loho, Jack Stade, Moritz Stargalla, Matthew Sun, Martin Winter ·

    Shallower ReLU Network Representations via Exact Linear Algebra

    arXiv:2607.21651v1 Announce Type: new Abstract: We prove that the maximum of $n$ real numbers is exactly representable by a ReLU network with two hidden layers for every $n\le 10$. The constructions are obtained by reducing the problem to exact rational linear algebra: after a sy…

  2. arXiv cs.NE (Neural & Evolutionary) TIER_1 English(EN) · Martin Winter ·

    通过精确线性代数实现更浅的 ReLU 网络表示

    We prove that the maximum of $n$ real numbers is exactly representable by a ReLU network with two hidden layers for every $n\le 10$. The constructions are obtained by reducing the problem to exact rational linear algebra: after a symmetry reduction, the necessary cancellations ar…

相关实体

相关话题