PulseAugur
中
实时 03:21:56
English(EN) ROMER: Expert Replacement and Router Calibration for Robust MoE LLMs on Analog Compute-in-Memory Systems

新框架增强了在嘈杂模拟硬件上的 MoE LLM

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出 ROMER，一个训练后校准框架，旨在增强混合专家（MoE）大型语言模型（LLM）在模拟内存计算（CIM）系统上部署时的鲁棒性。该框架通过替换利用率不足的专家并重新校准路由器决策，以在嘈杂条件下维持负载平衡和最佳路由，从而解决 CIM 中的硬件缺陷。实验表明，ROMER 在 DeepSeek-MoE、Qwen-MoE 和 OLMoE 等模型在真实芯片噪声下时，显著降低了困惑度。 AI

影响 通过减轻噪声引起的性能下降，提高了在节能模拟硬件上部署 LLM 的可行性。

排序理由 该集群包含一篇学术论文，详细介绍了一种提高 LLM 在特定硬件上性能的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新框架增强了在嘈杂模拟硬件上的 MoE LLM

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Ngai Wong ·

    ROMER：用于模拟内存内计算系统上鲁棒MoE LLM的专家替换和路由器校准

    Large language models (LLMs) with mixture-of-experts (MoE) architectures achieve remarkable scalability by sparsely activating a subset of experts per token, yet their frequent expert switching creates memory bandwidth bottlenecks that compute-in-memory (CIM) architectures are we…

相关实体

相关话题