English(EN) Increasing active parameters per token in MOE (Qwen 35B A4B+) reduce reasoning token by 8.5% - and you don't need to train or finetune!

MoE 模型通过推理时路由调整实现更短的推理过程

作者 PulseAugur 编辑部 · [1 个来源] · 2026-09-03 21:58

一篇新的研究论文介绍了一种无需重新训练即可减少推理 token 数量和延迟的方法。通过在推理时调整路由器，将更多专家容量分配给最终的 Transformer 层，模型可以实现更短的推理轨迹。该技术应用于 Qwen 3.6 35B A3B 以创建 Qwen 3.6 35B A4B+，在保持准确性的同时，平均推理 token 减少了 8.5%，延迟降低了 10.9%。 AI

影响这项技术可能导致在不进行昂贵重新训练的情况下，大型语言模型实现更高效、更快速的推理。

排序理由研究论文，详细介绍了一种优化 MoE 模型的新颖方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 1 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 研究论文，详细介绍了一种优化 MoE 模型的新颖方法。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: model release, paper; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Same-day; Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

r/LocalLLaMA TIER_1 English(EN) · /u/Specific-Tax-6700 · 2026-09-03 21:58

MOE（Qwen 35B A4B+）中每个 token 的活跃参数增加可将推理 token 减少 8.5% - 且无需训练或微调！

<div class="md">I want to share a short paper just published exploring a simple but surprisingly effective optimization for sparse MoE reasoning models. The idea: Instead of retraining anything, we just tweak the router at runtime</em…

本文如何被排名

报道来源 [1]

MOE（Qwen 35B A4B+）中每个 token 的活跃参数增加可将推理 token 减少 8.5% - 且无需训练或微调！

相关实体

相关话题