实体
gemma4:26b-a4b-it-qat
gemma4:26b-a4b-it-qat
PulseAugur coverage of gemma4:26b-a4b-it-qat — every cluster mentioning gemma4:26b-a4b-it-qat across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
MTP 设置提升 MoE 模型在本地硬件上的性能
一位 r/LocalLLaMA 上的用户分享了他们关于优化混合专家（MoE）模型的多令牌预测（MTP）设置的发现，特别是针对 Gemma4-26B-A4B-IT-QAT 模型。与之前的普遍看法相反，该用户发现调整 MTP 参数（如 n-max 和 min-p）显著提升了其硬件上的性能，在自然语言任务中，性能从每秒 88 个令牌提升到每秒 132 个令牌。最佳设置因模型和任务类型而异，编程任务比通用语言任务偏好不同的参数。
-
Gemma 4:26b-a4b-it-qat 模型在消费级 GPU 上实现每秒 15 个 token 的性能
一位用户报告称，gemma4:26b-a4b-it-qat 模型在配备 8GB 显存和 16GB 内存的 Nvidia 4070 GPU 上达到了每秒 15 个 token 的速度。该性能在 Windows 11 上运行，被认为几乎与 12B 模型一样快，其效率令用户感到惊讶。