PulseAugur
实时 11:04:03
English(EN) Extracting MoE experts from Kimi K3

用户探讨从 Kimi K3 模型中提取 MoE 专家

在 r/LocalLLaMA 子版块上,一位用户正在询问从 Kimi K3 模型中提取混合专家(MoE)组件的可能性。用户提到了 REAP 作为专家提取工具,并表达了运行更大 Kimi 模型的愿望,但他们不确定其潜在效果。讨论还触及了模型中针对不同任务的专门专家(specialized experts)的潜力。 AI

影响 讨论探讨了专门模型组件的潜力,但未提供新功能。

排序理由 用户讨论提取模型组件,而非主要发布或研究。

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

用户探讨从 Kimi K3 模型中提取 MoE 专家

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/StableDiffer ·

    从 Kimi K3 中提取 MoE 专家

    <!-- SC_OFF --><div class="md"><p>Has anyone yet tried to extract experts from kimi (or GLM 5.2) per chance? There is REAP that removes experts based on routing, but I could only run one K3 expert on my hardware. Could there maybe be a usual expert for different tasks? Would be f…