实体
GEMQ
GEMQ
PulseAugur coverage of GEMQ — every cluster mentioning GEMQ across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
时间线
- 2026-05-21 research_milestone Publication of a new research paper detailing the GEMQ method for optimizing MoE LLMs. 来源
最近 · 第 1/1 页 · 共 2 条
-
新研究探索用于效率的先进大模型量化技术
几篇新研究论文探索了用于量化大语言模型（LLM）以提高部署效率的先进技术。REAL-Q 引入了一种动态梯度下降方法，以最小化端到端 KL 散度，在 LLaMA-3.1 和 Qwen3 上显示出显著的改进。HBQ 提出了一种具有有效数字缩放的分层方法，以最大化硬件效率和准确性，优于现有方法。Q-Strata 专注于混合精度量化，用于专家混合模型，优化专家之间的比特分配。另一篇论文研究了量化损伤的结构，表明全局比特分配通常优于局部修复，而…
-
新方法提升LLM量化效率与准确性
研究人员开发了多种新方法来提高大型语言模型（LLM）量化的效率和准确性。这些技术旨在减少LLM的内存占用和计算成本，使其更容易部署在资源受限的设备上。创新包括混合专家（MoE）模型的无校准比特分配、利用量化漏洞的异常值注入以及硬件友好的混合精度量化框架。