实体 Switch-Base-8E

Switch-Base-8E

PulseAugur coverage of Switch-Base-8E — every cluster mentioning Switch-Base-8E across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_180544 · Aug 4 · 04:00

TrimMoE 框架将边缘服务器上的 LLM 推理延迟降低了 62.8%

研究人员开发了 TrimMoE，一个旨在优化分布式边缘服务器上专家混合（MoE）大语言模型推理的新框架。该框架侧重于通过智能跳过层和实现基于置信度的提前退出来实现自适应深度，而不是仅仅加速专家传输。TrimMoE 在一个包含 10 台服务器的设置中进行了测试，使用了 Switch-Base-8E、Qwen-MoE-A2.7B 和 Mixtral-8x7B 等模型，证明了平均延迟显著降低（高达 62.8%），跨服务器流量减少，并在将任务…