实体 FluxMoE

FluxMoE

PulseAugur coverage of FluxMoE — every cluster mentioning FluxMoE across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_11925 · May 1 · 04:00

FluxMoE系统解耦专家权重，加速LLM服务

研究人员开发了FluxMoE，一个旨在提高混合专家（MoE）模型服务效率的新系统。FluxMoE通过将专家参数与持久GPU内存解耦来解决MoE模型中参数量大的挑战。它将专家参数视为按需加载和卸载的瞬态资源，从而为KV缓存等关键运行时状态释放GPU内存。这种方法可以显著提高服务吞吐量，尤其是在内存受限的环境中。