实体 Maskerade

Maskerade

PulseAugur coverage of Maskerade — every cluster mentioning Maskerade across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_284642 · Oct 7 · 04:00

新的MASKerade方法将密集AI模型升级为稀疏MoE专家

研究人员开发了MASKerade，一种将密集AI模型转换为稀疏混合专家（MoE）模型的新颖方法。该技术涉及将专家学习为冻结的前馈网络的子网络，并由学习到的二元掩码和令牌级路由器指导。这种方法允许灵活的专家结构，并在使用Qwen和Gemma骨干网络时，在视觉-语言基准测试上取得了卓越的性能，优于现有的密集到MoE升级方法。