PulseAugur
中
实时 08:24:04
实体 Replicate-and-Quantize

Replicate-and-Quantize

PulseAugur coverage of Replicate-and-Quantize — every cluster mentioning Replicate-and-Quantize across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_143839 ·

    新的R&Q策略在无需重新训练的情况下平衡SMoE LLM负载

    研究人员开发了一种名为Replicate-and-Quantize (R&Q) 的新推理时策略，以解决稀疏专家混合（SMoE）大型语言模型中的负载不平衡问题。该方法在无需重新训练或修改路由机制的情况下，动态地重新平衡专家之间的工作负载。实验表明，R&Q可以将不平衡度降低高达1.4倍，同时保持准确性，从而使SMoE模型在部署时更高效、更可预测。