实体
ReLoRA
ReLoRA
PulseAugur coverage of ReLoRA — every cluster mentioning ReLoRA across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的sMuon方法增强了神经网络的低秩微调
研究人员开发了一种名为sMuon的新方法，以改进神经网络的参数高效微调（PEFT）。该技术通过在低秩设置中近似Muon目标，解决了Muon优化器与常见的LoRA PEFT方法之间的不兼容问题。该实现仅使用矩阵乘法运算，并在监督微调和ReLoRA预训练实验中显示出有利的结果，提供了适度的性能改进。
-
大语言模型预训练研究探索稀疏与密集及低秩方法
两篇新研究论文探讨了大语言模型高效预训练的方法。第一篇论文在小规模上比较了密集和稀疏的专家混合（MoE）Transformer架构，发现MoE模型在匹配激活参数时能改善验证损失，但在总参数容量相等的情况下，其性能并不超过密集模型。第二篇论文研究了各种低秩预训练技术，表明即使验证困惑度相似，这些方法也会收敛到几何上不同的解，并且不能完全复制全秩训练的泛化能力或内部表示。