English(EN) Dynamic Expert Quantization for Scalable Mixture-of-Experts Inference

新系统优化单 GPU 上的 MoE LLM 推理

作者 PulseAugur 编辑部 · [1 个来源] · 2026-09-14 04:00

研究人员开发了 DynaExq，一个旨在优化内存有限的单 GPU 上专家混合（MoE）模型推理的新系统。该系统根据专家在运行时期的使用情况动态分配精度，优先使用高精度处理常用专家，而对不常激活的专家使用较低精度。这种方法旨在减小内存占用，并避免与专家卸载和预取相关的延迟问题，尤其是在激活模式密集时。使用 Qwen3-MoE 模型进行的实验表明，DynaExq 可以提高相对于静态量化方法的准确性，并显著提高相对于传统卸载技术的吞吐量。 AI

影响这项研究可能能够更有效地在资源受限的硬件上部署大型 MoE 模型，从而降低推理成本。

排序理由该条目是一篇研究论文，详细介绍了一种用于 MoE 模型的新推理系统。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 26 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该条目是一篇研究论文，详细介绍了一种用于 MoE 模型的新推理系统。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra, paper; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.LG TIER_1 English(EN) · Kexin Chu, Dawei Xiang, Zixu Shen, Yiwei Yang, Zecheng Liu, Wei Zhang · 2026-09-14 04:00

面向可扩展专家混合模型推理的动态专家量化

arXiv:2511.15015v4 Announce Type: replace-cross Abstract: Mixture-of-Experts (MoE) has become a practical architecture for scaling LLM capacity while keeping per-token compute modest, but deploying MoE models on a single, memory-limited GPU remains difficult because expert weight…

本文如何被排名

报道来源 [1]

面向可扩展专家混合模型推理的动态专家量化

相关实体

相关话题