English(EN) Communication Dynamics Neural Networks: FFT-Diagonalized Layers for Improved Hessian Conditioning at Reduced Parameter Count

新的 CDNN 使用傅里叶变换来减少参数，提高优化效率

作者 PulseAugur 编辑部 · [1 个来源] · 2026-06-10 04:00

研究人员开发了通信动力学神经网络（CDNNs），这是一种利用 circulant 矩阵和傅里叶变换来改善 Hessian 条件并减少参数数量的新型架构。CDLinear 层是其关键组成部分，可在保持 MNIST 等基准测试具有竞争力的准确性的同时，实现显著的参数减少。这种结构化方法为密集层提供了一种更高效、更易于优化的替代方案，并可能应用于大规模 Transformer 模型。 AI

影响引入了一种新颖的架构方法，可能带来更具参数效率和更易于优化的神经网络。

排序理由详细介绍新型神经网络架构及其在基准测试上性能的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Lurong Pan · 2026-06-10 04:00

Communication Dynamics Neural Networks: FFT-Diagonalized Layers for Improved Hessian Conditioning at Reduced Parameter Count

arXiv:2605.08171v2 Announce Type: replace-cross Abstract: Communication Dynamics Neural Networks (CDNNs) apply the circulant-spectral machinery of the Communication Dynamics framework to neural-network layer design. We introduce CDLinear, a block-circulant linear layer with block…

报道来源 [1]

Communication Dynamics Neural Networks: FFT-Diagonalized Layers for Improved Hessian Conditioning at Reduced Parameter Count

相关实体

相关话题