AI模型扩展定律将焦点从参数数量转移

AI模型的最优扩展不仅仅涉及参数数量，训练数据、计算分配和推理成本等因素也起着至关重要的作用。早期研究表明参数与数据比率较高，但后续研究表明更均衡的方法，尤其是在考虑推理成本时。Mixture-of-Experts (MoE) 模型进一步增加了复杂性，因为总参数决定了知识容量，而激活的参数则影响推理深度。Z.ai 的 GLM-5.3 版本表明，通过专注于训练后增强，例如扩展长视野环境和强化学习，而不是仅仅增加基础模型大小或预训练数据，可以取得显著的进步。 AI

影响 将AI模型开发的重点从仅关注参数数量转移到训练后增强和优化推理成本。

排序理由 该项目讨论了AI模型扩展定律的研究结果以及基于这些结果的新实验版本（GLM-5.3）。[lever_c_demoted from research: ic=1 ai=1.0]

在 r/LocalLLaMA 阅读 →

• Chinchilla
• Gemma-2-9B
• GLM-5.2
• GLM-5.3
• Gopher
• GPT-3
• Hoffmann et al. (2022)
• Kaplan et al. (2020)
• Llama-2-7B
• MT-NLG
• Roberts et al. (2025)
• Z.ai

• 模型发布
• 论文

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →