实体
Quantization-Aware Training (QAT)
Quantization-Aware Training (QAT)
PulseAugur coverage of Quantization-Aware Training (QAT) — every cluster mentioning Quantization-Aware Training (QAT) across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
Gemma 4 MTP 和 QAT 提升本地 LLM 速度
“本地运行 LLM”项目的最新更新引入了 Gemma 模型的 MTP（多令牌预测），在令牌生成方面实现了高达 90% 的速度提升。这种优化与 QAT（量化感知训练）相结合，显著提高了本地 LLM 执行的性能。此外，通过配置调整，提示大小减少了 60%，并实现了所有提示的日志记录。
-
Google 发布 Gemma 4 QAT 检查点，加速设备端 AI
Google 发布了其 Gemma 4 模型的量化感知训练 (QAT) 检查点，显著减小了内存占用并提高了在消费级硬件上的推理速度。与先前版本相比，这些新检查点速度可提升一倍，内存使用量减少约一半，同时质量损失极小。这一进步使得开发者能够更方便地在笔记本电脑和智能手机等设备上本地运行功能强大的开放权重模型，标志着更易于访问的设备端 AI 的发展方向。