实体
ProQuant
ProQuant
PulseAugur coverage of ProQuant — every cluster mentioning ProQuant across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的ProQuant框架支持边缘设备高效低比特多模态大语言模型
研究人员开发了ProQuant，一个用于量化感知训练的新框架，旨在提高多模态大语言模型（MLLMs）在边缘设备的效率。该方法解决了低比特量化通常会导致的性能下降问题，尤其是在适用于边缘部署的小型模型中。ProQuant包含一个自重新标记方案以对齐微调数据集，以及一个渐进式块激活机制，优先恢复多模态理解能力，其表现优于现有方法，并在精度损失极小的情况下实现了接近全精度的性能。
-
ProQuant框架提升MoE模型量化质量
研究人员开发了ProQuant，一个用于混合专家（MoE）大语言模型训练后量化的新框架。该方法通过考虑跨层误差传播和缓解路由漂移，解决了在极低比特预算下保持生成质量的挑战。ProQuant采用剪枝或优先混合精度分配（PoP）策略进行联合专家剪枝和比特宽度分配，并结合路由一致性RMSNorm微调（RoCo）技术来适应专家表示。实验表明，ProQuant在各种生成任务的质量保持方面优于现有方法。