实体 MobileLLM-Pro-1B

MobileLLM-Pro-1B

PulseAugur coverage of MobileLLM-Pro-1B — every cluster mentioning MobileLLM-Pro-1B across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_286863 · Oct 8 · 04:00

CanonQ 框架实现极低比特 LLM 压缩

研究人员开发了 CanonQ，一个用于大型语言模型 (LLM) 极低比特量化的新颖框架。该方法通过采用统一的感知量化训练方法，解决了同时量化权重、激活和 KV 缓存的挑战。CanonQ 将源规范化与任务感知适应分离开来，使用固定的旋转和能量归一化将不同的张量源映射到规范坐标。这使得跨不同层和模型的冻结高斯参考码本得以重用，并通过联合训练使网络适应耦合的量化误差。该框架在 W2A4KV2 压缩下取得了显著的改进，在 LLaMA3 模型上…