lottery ticket hypothesis
PulseAugur coverage of lottery ticket hypothesis — every cluster mentioning lottery ticket hypothesis across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
孟加拉语稀疏少样本语言模型实现 90% 的稀疏度
研究人员开发了 BnBERT-iPET，这是一种专门针对孟加拉语的稀疏少样本语言建模的新方法。该方法利用彩票 टिकट 修剪实现 90% 的稀疏度，显著降低了计算需求和内存占用。在孟加拉语下游任务上，该修剪后的模型在性能上可与 Bangla Electra 和 Indic-BERT 等大型最先进模型相媲美。
-
新“双重评分”方法增强彩票提取
研究人员推出了一种名为“双重评分”的新颖方法，用于从大型神经网络中可靠地提取强力彩票。该技术通过在扩大的评分空间上进行优化来增强边缘弹出方法，从而保留对原始坐标掩码的访问。实验表明，双重评分在强力彩票提取方面显著优于现有方法，并且对稀疏性超参数的敏感性降低。
-
新的剪枝方法在单个训练周期中创建稀疏神经网络
研究人员开发了一种在单个训练周期中创建稀疏神经网络的新方法，这比需要多个周期的现有技术有了显著改进。这种渐进式基于幅度的剪枝方法在训练过程中逐渐增加稀疏性，在各种架构和数据集上，与乐透假说（LTH）、SNIP 和 GraSP 等成熟方法相比，实现了具有竞争力的或更优的准确性。该方法表明，即使在极高的稀疏度水平下也能保持高准确性，为模型压缩提供了一种有效的替代方案。
-
玩具模型揭示彩票机制保留特征空间几何结构
研究人员探索了彩票假说，该假说认为，密集神经网络中的稀疏子网络可以获得与完整模型相似的性能。他们使用具有结构化特征空间的简化玩具模型来研究这些“中奖彩票”保留了什么。他们的发现表明，这些彩票对应于特征空间中的特定位置，这些位置在初始化时已经接近最终学习到的表示，而密集训练则充当了选择过程。
-
新研究将优化器选择与LLM微调中遗忘减少联系起来
研究人员探讨了优化器一致性对大型语言模型微调的影响。一项研究表明，在预训练和微调过程中使用相同的优化器可以减少知识遗忘，并在新任务上获得更好的性能，这种现象被称为“优化器-模型一致性”。与LoRA等其他方法相比，这种方法可能提供更好的学习-遗忘权衡。另一篇论文引入了“谱边分析”来研究神经网络训练中的相变，将“grokking”和能力提升等现象与参数更新矩阵的谱隙联系起来。该框架表明，优化器的选择会影响这些动态，实验结果证实了在各种模型…