实体 MV-WSA

MV-WSA

PulseAugur coverage of MV-WSA — every cluster mentioning MV-WSA across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_229423 · Sep 1 · 04:00

WiSP 使大型 MoE 模型能够在低资源 GPU 上运行

研究人员开发了 WiSP（Working-Set Paging），一个新颖的系统，旨在使大型专家混合（MoE）模型能够在低资源硬件上运行，例如 24GB RTX 3090 GPU。WiSP 将 MoE 服务视为一个运行集问题，管理路由专家权重和 KV 缓存之间在有限 VRAM 上的竞争。在相同的内存限制下，该系统实现了高达静态卸载方法两倍的解码吞吐量。此外，还引入了一种称为 MV-WSA（Marginal-Value Working-…