一位 Reddit 用户为 Google 的 Gemma 5 模型开发提出了一些建议。主要建议包括实施循环 Transformer 架构以增强推理能力，集成 DeepSeek 的 Engram 以获得更广泛的世界知识，并继续进行 4 位量化感知训练 (QAT) 以实现高效的模型部署。用户还建议探索更高效的注意力机制以获得更便宜的 KV 缓存，考虑一个约 120b 的专家混合 (MoE) 模型，并使用最新的投机解码技术改进草稿模型。此外，建议提倡一种平衡的方法，警告不要以牺牲通用知识和创意写作能力为代价在编码基准上过度拟合，同时还建议不要追求 2 位 QAT 以获得小型模型，因为这会导致实际性能下降。 AI
影响 用户反馈可能会影响模型的未来开发，从而可能提高 Gemma 模型的推理能力和效率。
排序理由 用户为未来模型发布生成的建议。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
