实体
Fully Connected Networks on a Diet With the Mediterranean Matrix Multiplication
Fully Connected Networks on a Diet With the Mediterranean Matrix Multiplication
PulseAugur coverage of Fully Connected Networks on a Diet With the Mediterranean Matrix Multiplication — every cluster mentioning Fully Connected Networks on a Diet With the Mediterranean Matrix Multiplication across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
New pruning method uses Fisher information distances for neural networks
研究人员为神经网络引入了一种新颖的参数剪枝技术，该技术基于模型空间内的微分几何距离。该方法使用 Fisher 信息度量定义的测地线距离，量化了参数归零的超曲面的最小距离。该方法产生了一个剪枝方法层级，从幅度剪枝开始，逐步发展到更高级、更有效的方案。该技术在全连接网络和视觉 Transformer 的各种数据集上进行了演示，在准确性和 Matthews 相关系数方面始终优于现有方法，为剪枝提供了数学上合理的解释。
-
新理论分析Transformer在分布回归中的泛化能力
研究人员开发了一个新的理论框架，用于在分布回归的背景下分析Transformer模型。该框架引入了一个“注意力算子”，使Transformer能够在不丢失信息的情况下将分布压缩成函数表示。研究表明，与传统神经网络相比，该算子增强了Transformer学习复杂泛函的能力，并为大型语言模型中使用的prompt tuning和参数高效微调等技术提供了理论见解。