MoE-LLMs
PulseAugur coverage of MoE-LLMs — every cluster mentioning MoE-LLMs across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新系统通过 CPU-GPU 协同优化 MoE LLM 推理
一个名为 \method 的新系统已被开发出来，以提高推理过程中混合专家（MoE）大语言模型（LLM）的效率。该系统通过智能地将专家分配给 CPU 或 GPU，解决了大型专家模型内存占用超出 GPU 容量的挑战。\method 选择性地将高负载专家转移到 GPU，同时在 CPU 上执行低负载专家，动态调整分配以最小化延迟。实验表明，与现有方法相比，预填充速度和解码吞吐量有了显著提高。
-
新方法以最少数据将AR模型转换为扩散LLM
研究人员开发了一种低成本方法，将自回归（AR）模型转换为扩散语言模型（dLLM），从而无需大量重新训练即可实现并行生成。一项比较两种转换技术（就地转换和冻结塔转换）的研究发现，在HumanEval等基准测试中，冻结塔模型显著优于就地转换模型，实现了11.6倍的改进。冻结塔方法在GSM8K和MMLU-Pro任务上还保留了父模型更高百分比的性能，表明它在转换过程中更有效地保留知识，尤其是在有限的训练预算内。
-
新的选择性重要性采样方法改进了 LLM 对齐
研究人员推出了一种名为选择性重要性采样 (SIS) 的新型即插即用方法，旨在改进大型语言模型 (LLM) 在强化学习后训练期间的对齐。该方法通过将接受的令牌视为同策略来解决离策略训练数据的问题，从而简化了重要性校正过程。SIS 在理论上被证明可以减小梯度估计器差距，并且计算开销极小，使其能够与各种 RL 后训练算法兼容。实验表明，SIS 在不同 LLM 架构和基准测试中始终能改进目标并增强鲁棒性。
-
新的量化方法 MODE 削减 MoE-MLLM 内存成本
研究人员推出了一种新颖的量化框架 MODE，旨在降低混合专家多模态大语言模型 (MoE-MLLMs) 的显著内存成本。该框架解决了现有方法中阻碍性能的专家重要性估计偏差。通过按模态分解专家选择频率并过滤冗余视觉标记，MODE 旨在提高量化精度，尤其对文本关键专家而言。实验表明，MODE 实现了大幅压缩，即使在极端比特宽度设置下，性能损失也很小。
-
新方法提升LLM量化效率与准确性
研究人员开发了多种新方法来提高大型语言模型（LLM）量化的效率和准确性。这些技术旨在减少LLM的内存占用和计算成本，使其更容易部署在资源受限的设备上。创新包括混合专家（MoE）模型的无校准比特分配、利用量化漏洞的异常值注入以及硬件友好的混合精度量化框架。