实体
LapSum
LapSum
PulseAugur coverage of LapSum — every cluster mentioning LapSum across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
LaPrune 引入可控可微稀疏性以用于大规模模型
研究人员引入了 LaPrune，这是一种新颖的可微层，用于控制大规模模型中的稀疏性。该方法通过管理归一化二阶矩来精确选择活动的模型组件，同时保持所选元素的质量。LaPrune 采用 LapSum 障碍和归一化二阶矩约束来实现近乎二元的选择律，并对近乎零的组件比例提供严格的保证。
-
SoftMoE 为专家混合 LLM 引入了可微分路由
研究人员推出了一种用于大型语言模型（LLM）的专家混合（MoE）架构的新方法 SoftMoE。与使用不可微分的 top-k 路由机制的传统稀疏 MoE 模型不同，SoftMoE 采用了一种软的、可微分的路由方法。这允许跨层的专家分配进行基于梯度的优化，使模型能够学习更有效的计算资源分配。所提出的方法在利用更少的激活专家的情况下，实现了与现有稀疏 MoE 模型相当或更好的性能。