实体
Superni
Superni
PulseAugur coverage of Superni — every cluster mentioning Superni across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新的 RASA 框架优化了联邦学习以满足多样化的客户端需求
研究人员推出了一种名为接收器感知子空间自适应 (RASA) 的新框架,旨在通过根据个体客户端需求定制模型更新来改进联邦学习。与专注于通用矩阵重建的现有方法不同,RASA 考虑了更新在多大程度上保留了对特定客户端输入的响应,即使这些输入需要较低能量的方向。该方法使用主成分分析在接收器加权更新响应上进行优化,以在秩约束内优化知识转移。实验表明,RASA 在各种数据集和任务上提高了准确性,优于标准方法。
-
SpecDrop 引入用于专业化 AI 模型的无参数路由
研究人员推出 SpecDrop,一种新颖的、用于专家混合(MoE)模型的无参数路由方法,该方法利用类别标签进行专业化。与依赖学习型路由器的传统 MoE 方法不同,SpecDrop 使用一种固定方案,其中每个分支为其类别分配一个概率,并为其他类别分配少量泄露。该方法在 CIFAR-100 和 ImageNet-1K 等视觉任务上取得了优异的成绩,在没有路由的情况下性能优于参数匹配的基线。研究表明,训练信号的粒度和它们与目标类别的对齐是路…
-
新研究利用新颖的专家混合方法解决大型语言模型的持续学习问题
两篇新研究论文提出了在大型语言模型和视觉-语言模型中进行持续学习的新颖方法,旨在减轻灾难性遗忘。CP-MoE引入了一个瞬时专家来指导更新和保留知识,而MoRAM则利用细粒度的秩-1适配器作为记忆单元来实现内容可寻址检索。与现有的专家混合技术相比,这两种方法在基准测试中都展示了改进的性能,提供了更好的可塑性和稳定性之间的权衡。