实体 SpecFit

SpecFit

PulseAugur coverage of SpecFit — every cluster mentioning SpecFit across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_300440 · Oct 15 · 04:00

SpecFit 通过降低专家传输成本优化 MoE 推理速度

研究人员开发了 SpecFit，一种优化专家混合（MoE）模型推理速度的新颖方法，特别是在其专家权重被卸载到主机内存时。SpecFit 专注于通过选择最小化专家在主机和设备之间传输成本的草稿令牌来最大化预测吞吐量。该方法估计预期的已提交令牌，并根据激活的专家预测周期时间，确保每个令牌仅贡献新激活专家的成本。在 CNN/DailyMail 摘要和 GSM8K 上使用 Qwen3-30B-A3B 模型进行的实验表明，SpecFit 在解码…