PulseAugur
中
实时 13:57:47
English(EN) Automatically Differentiable Nonlinear Tensor Networks (ADNTNs) for Exponential Compression of Deep Neural Networks

新研究探索张量网络和微分等价性用于神经网络压缩

作者 PulseAugur 编辑部 · [2 个来源] ·

两篇新研究论文探索了压缩深度神经网络的新颖方法。第一篇论文介绍了自动可微分非线性张量网络 (ADNTNs)，它使用小型核心张量和非线性激活的层次结构来实现显著的压缩率，有时超过 77,000 倍，同时在 AlexNet 和 VGG-16 等基准测试中保持甚至提高准确性。第二篇论文提出了一种互补的方法，使用近似微分等价性来聚合具有相似功能行为的神经元，将网络编码为多项式 ODE 系统，并识别具有匹配动力学的神经元。该方法为以权重为中心的剪枝提供了一种有原则的替代方案，实现了实质性的参数缩减，并在模型大小和准确性之间实现了平滑的权衡。 AI

影响 这些新颖的压缩技术可能带来显著更小、更高效的 AI 模型，从而能够在资源受限的设备上进行部署。

排序理由 该集群包含两篇详细介绍神经网络压缩新方法的学术论文。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Andrzej Cichocki, Michal Wietczak ·

    Automatically Differentiable Nonlinear Tensor Networks (ADNTNs) for Exponential Compression of Deep Neural Networks

    arXiv:2606.00130v1 Announce Type: cross Abstract: We study Automatically Differentiable Nonlinear Tensor Networks (ADNTNs), a family of structured weight generators whose compact core tensors are trained end-to-end by reverse-mode automatic differentiation (AD). The approach can …

  2. arXiv cs.AI TIER_1 English(EN) · Ravi Dhiman, Andrea Passarella, Mirco Tribastone, Lorenzo Valerio ·

    Neural Network Compression by Approximate Differential Equivalence

    arXiv:2606.01402v1 Announce Type: cross Abstract: Neural network compression is commonly achieved by pruning parameters based on local importance scores, e.g., magnitude-based pruning. We propose a complementary approach that compresses models by aggregating neurons with similar …

相关实体

相关话题