实体
MoE-LLMs
MoE-LLMs
PulseAugur coverage of MoE-LLMs — every cluster mentioning MoE-LLMs across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新的选择性重要性采样方法改进了 LLM 对齐
研究人员推出了一种名为选择性重要性采样 (SIS) 的新型即插即用方法，旨在改进大型语言模型 (LLM) 在强化学习后训练期间的对齐。该方法通过将接受的令牌视为同策略来解决离策略训练数据的问题，从而简化了重要性校正过程。SIS 在理论上被证明可以减小梯度估计器差距，并且计算开销极小，使其能够与各种 RL 后训练算法兼容。实验表明，SIS 在不同 LLM 架构和基准测试中始终能改进目标并增强鲁棒性。
-
新的量化方法 MODE 削减 MoE-MLLM 内存成本
研究人员推出了一种新颖的量化框架 MODE，旨在降低混合专家多模态大语言模型 (MoE-MLLMs) 的显著内存成本。该框架解决了现有方法中阻碍性能的专家重要性估计偏差。通过按模态分解专家选择频率并过滤冗余视觉标记，MODE 旨在提高量化精度，尤其对文本关键专家而言。实验表明，MODE 实现了大幅压缩，即使在极端比特宽度设置下，性能损失也很小。
-
新方法提升LLM量化效率与准确性
研究人员开发了多种新方法来提高大型语言模型（LLM）量化的效率和准确性。这些技术旨在减少LLM的内存占用和计算成本，使其更容易部署在资源受限的设备上。创新包括混合专家（MoE）模型的无校准比特分配、利用量化漏洞的异常值注入以及硬件友好的混合精度量化框架。