PulseAugur
中
实时 12:06:42
实体 GS-MoE

GS-MoE

PulseAugur coverage of GS-MoE — every cluster mentioning GS-MoE across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 2 条
  1. TOOL · CL_324883 ·

    GS-MoE框架为MoE模型提供无需训练的压缩方案

    研究人员开发了GS-MoE,一个新颖的、无需训练的框架,旨在压缩混合专家(MoE)模型。该方法通过采用分组子空间共享和剪枝技术,解决了存储大量专家参数引起的内存瓶颈问题。GS-MoE捕获专家之间的共享结构,同时允许专家特定的投影并减小每个专家内部的中间宽度。实验表明,GS-MoE在压缩率较高时显著优于D$^2$-MoE等现有方法,在DeepSeek-MoE-16B-Base等模型上保留了更高比例的推理性能并实现了更低的困惑度。

  2. TOOL · CL_259220 ·

    新的GS-MoE AI架构提高了医学影像中罕见病理的检测能力

    研究人员开发了一种名为通用-专业混合专家模型(GS-MoE)的新型AI架构,旨在提高多模态医学影像中罕见病理的检测能力。该架构结合了一个跨模态的通用模型和特定模态的专业模型,解决了纯混合专家模型在平衡专业化和共享表示方面存在的局限性。在RadImageNet数据集上的实验中,GS-MoE成功识别了六种先前模型未能检测到的低患病率病理,同时以更少的激活参数实现了具有竞争力的性能。