实体 Cache-Prior

Cache-Prior

PulseAugur coverage of Cache-Prior — every cluster mentioning Cache-Prior across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_324319 · Oct 27 · 04:00

新的路由方法加速大型MoE模型

研究人员推出了一种名为Prefetch-Steered Routing (PSR) 的新方法，用于优化无法完全载入GPU内存的混合专家（MoE）模型的解码过程。PSR基于逻辑缓存确定性地路由专家，减少了从主机内存复制权重的昂贵开销。该方法展示了显著的加速效果，在OLMoE-1B-7B上解码速度比精确路由快2.2-2.3倍，并在Moonlight-16B-A3B和Qwen3.6-35B-A3B的基准测试中有所改进，具体取决于工作负载和驻留情况。