实体
Net2Net
Net2Net
PulseAugur coverage of Net2Net — every cluster mentioning Net2Net across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
分类器增长方法分析：一种无法学习，其他方法提供益处
本文研究了四种增长分类器的方法，发现其中一种方法由于新增层中的梯度为零而无法学习。研究表明，这种特定的增长策略会显著降低 Iris 和 Wine 等数据集的准确性。一个简单的修复方法是对新参数进行小的随机扰动，确保其梯度非零。其他三种增长方法提供了不同的益处，例如提高稀疏性或减小网络尺寸，但不一定能提高准确性。
-
新研究详细介绍了计算图的成本核算和网络手术
两篇新研究论文介绍了分析和操作神经网络计算图的新方法。第一篇论文详细介绍了一个用于详尽扫描和顺序变异的成本核算框架，为这些操作提供了精确的成本估算和理论极限。第二篇论文提出了“精确网络手术”，一种用于函数保持的网络增长技术，确保插入组件的比特精确性和即时可训练性。两篇论文都使用在Julia中实现的NeuroDSL反应式图引擎验证了它们的理论主张。
-
新研究详细介绍了扩展神经网络模型的原则性方法
一篇新研究论文提出了一种有效扩展神经网络模型的方法，允许从已训练好的小型模型初始化大型模型。该方法受 $\mu$P 和无限宽度架构的启发，使用理论上可靠的、与宽度相关的扰动噪声和优化器超参数缩放。该方法旨在通过减少对扩展版本进行昂贵超参数调优的需求来加速大型模型的收敛，并在实际数据集和架构上证明了其有效性。