实体
Superni
Superni
PulseAugur coverage of Superni — every cluster mentioning Superni across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
SpecDrop 引入用于专业化 AI 模型的无参数路由
研究人员推出 SpecDrop，一种新颖的、用于专家混合（MoE）模型的无参数路由方法，该方法利用类别标签进行专业化。与依赖学习型路由器的传统 MoE 方法不同，SpecDrop 使用一种固定方案，其中每个分支为其类别分配一个概率，并为其他类别分配少量泄露。该方法在 CIFAR-100 和 ImageNet-1K 等视觉任务上取得了优异的成绩，在没有路由的情况下性能优于参数匹配的基线。研究表明，训练信号的粒度和它们与目标类别的对齐是路…
-
新研究利用新颖的专家混合方法解决大型语言模型的持续学习问题
两篇新研究论文提出了在大型语言模型和视觉-语言模型中进行持续学习的新颖方法，旨在减轻灾难性遗忘。CP-MoE引入了一个瞬时专家来指导更新和保留知识，而MoRAM则利用细粒度的秩-1适配器作为记忆单元来实现内容可寻址检索。与现有的专家混合技术相比，这两种方法在基准测试中都展示了改进的性能，提供了更好的可塑性和稳定性之间的权衡。