PulseAugur
中
实时 07:19:47
English(EN) MawForge: Memory-Bounded Expert Materialization for Local Mixture-of-Experts Inference

MawForge 支持在内存受限设备上进行本地专家混合模型推理

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了 MawForge，一个旨在实现稀疏专家混合（MoE）语言模型在内存有限设备上进行推理的系统。该方法涉及将完整模型存储在磁盘上，并在需要时才将专家张量物化到有界执行缓存中。虽然作为本地 MoE 推理机制有效，但 MawForge 的性能对专家重用、缓存大小、量化和操作系统内存压力等因素敏感。 AI

影响 这项研究可能使更强大的 AI 模型能够在内存有限的消费级硬件上运行。

排序理由 该集群包含一篇研究论文，详细介绍了本地 MoE 模型推理的新系统。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

MawForge 支持在内存受限设备上进行本地专家混合模型推理

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Craig Opie ·

    MawForge: Memory-Bounded Expert Materialization for Local Mixture-of-Experts Inference

    arXiv:2607.09686v1 Announce Type: new Abstract: Sparse Mixture-of-Experts (MoE) language models separate total parameter count from per-token active computation, but local inference systems often still require the full model, key-value cache, runtime buffers, and operatingsystem …

相关实体

相关话题