一位 r/LocalLLaMA 上的用户分享了他们关于优化混合专家（MoE）模型的多令牌预测（MTP）设置的发现，特别是针对 Gemma4-26B-A4B-IT-QAT 模型。与之前的普遍看法相反，该用户发现调整 MTP 参数（如 n-max 和 min-p）显著提升了其硬件上的性能，在自然语言任务中，性能从每秒 88 个令牌提升到每秒 132 个令牌。最佳设置因模型和任务类型而异，编程任务比通用语言任务偏好不同的参数。 AI
影响 优化 MTP 设置可以为在本地运行 MoE 模型的用户带来显著的性能提升。
排序理由 用户关于为本地硬件优化模型参数的发现，并非正式发布或研究论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
