实体
lottery ticket hypothesis
lottery ticket hypothesis
PulseAugur coverage of lottery ticket hypothesis — every cluster mentioning lottery ticket hypothesis across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
新的剪枝方法在单个训练周期中创建稀疏神经网络
研究人员开发了一种在单个训练周期中创建稀疏神经网络的新方法，这比需要多个周期的现有技术有了显著改进。这种渐进式基于幅度的剪枝方法在训练过程中逐渐增加稀疏性，在各种架构和数据集上，与乐透假说（LTH）、SNIP 和 GraSP 等成熟方法相比，实现了具有竞争力的或更优的准确性。该方法表明，即使在极高的稀疏度水平下也能保持高准确性，为模型压缩提供了一种有效的替代方案。
-
玩具模型揭示彩票机制保留特征空间几何结构
研究人员探索了彩票假说，该假说认为，密集神经网络中的稀疏子网络可以获得与完整模型相似的性能。他们使用具有结构化特征空间的简化玩具模型来研究这些“中奖彩票”保留了什么。他们的发现表明，这些彩票对应于特征空间中的特定位置，这些位置在初始化时已经接近最终学习到的表示，而密集训练则充当了选择过程。
-
新研究将优化器选择与LLM微调中遗忘减少联系起来
研究人员探讨了优化器一致性对大型语言模型微调的影响。一项研究表明，在预训练和微调过程中使用相同的优化器可以减少知识遗忘，并在新任务上获得更好的性能，这种现象被称为“优化器-模型一致性”。与LoRA等其他方法相比，这种方法可能提供更好的学习-遗忘权衡。另一篇论文引入了“谱边分析”来研究神经网络训练中的相变，将“grokking”和能力提升等现象与参数更新矩阵的谱隙联系起来。该框架表明，优化器的选择会影响这些动态，实验结果证实了在各种模型…