PulseAugur
中
实时 10:17:30
实体 Speculative Utility Estimator

Speculative Utility Estimator

PulseAugur coverage of Speculative Utility Estimator — every cluster mentioning Speculative Utility Estimator across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_321879 ·

    MoE-SpAc框架提升边缘设备上MoE模型推理效率

    研究人员开发了MoE-SpAc，一个旨在提高异构边缘设备上混合专家（MoE）模型推理效率的新型框架。该系统通过预测专家激活需求来管理内存，重新利用了推测解码技术。MoE-SpAc集成了推测效用估计器、异构工作负载均衡器和异步执行引擎，以优化预取和驱逐过程。实验表明，与现有的推测解码基线相比，每秒事务处理量提高了42%，并且与其他标准方法相比速度显著提升。