Romer

新框架增强了在嘈杂模拟硬件上的 MoE LLM

研究人员推出 ROMER，一个训练后校准框架，旨在增强混合专家（MoE）大型语言模型（LLM）在模拟内存计算（CIM）系统上部署时的鲁棒性。该框架通过替换利用率不足的专家并重新校准路由器决策，以在嘈杂条件下维持负载平衡和最佳路由，从而解决 CIM 中的硬件缺陷。实验表明，ROMER 在 DeepSeek-MoE、Qwen-MoE 和 OLMoE 等模型在真实芯片噪声下时，显著降低了困惑度。