实体
Wei Shen
Wei Shen
PulseAugur coverage of Wei Shen — every cluster mentioning Wei Shen across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
Muon 优化器在理论和实践神经网络训练中展现出潜力
两篇新的研究论文探讨了 Muon 优化器，这是一种旨在更好地处理神经网络中矩阵结构参数的方法。第一篇论文介绍了一种用于 Sharpness-Aware Minimization (SAM) 的矩阵感知几何，将谱内扰动与 Muon 结合，以提高 ImageNet-1K 上的鲁棒性和验证准确性。第二篇论文对 Muon 进行了理论收敛性分析，证明了它通过利用神经网络训练中 Hessian 矩阵的低秩结构，有潜力超越传统的梯度下降。
-
沈巍在Mastodon上讨论赛博空间的去殖民化
沈巍（Wei SHEN）就“地外影像学——技术封建时代赛博空间的去殖民化”进行了演讲。这次在Mastodon上主持的讨论，探讨了在新封建主义背景下赛博空间去殖民化主题。演讲在Hometown平台上进行。
-
新方法通过高效、结构化的低秩调优增强大语言模型适应性
研究人员推出了一种名为 MLorc 的新方法，用于大语言模型的内存高效适应，该方法在训练过程中压缩参数动量。该方法旨在降低内存需求而不牺牲性能，其表现优于 LoRA 和 GaLore 等现有技术。同时，另一项研究通过信号处理的视角探讨了低秩适应（LoRA），分析了其架构和优化机制。此外，还开发了一个名为 StructLoRA 的新框架，通过过滤不相关的更新方向并确保层间一致性来改进 LoRA，从而在各种模型类型上取得了最先进的结果，且…