Meta 用 15 万亿个 token 训练了其 Llama 3-8B 模型，这远远超过了对于一个 80 亿参数模型“Chinchilla 最优”建议的约 2000 亿个 token。这种方法虽然在初始训练时成本更高，但会产生一个预测损失更低、性能更好的模型。文章认为，当考虑到模型服务的长期成本时，这种策略是具有成本效益的，因为与用更少 token 训练的大型模型相比，经过过度训练的小型模型在处理每个 token 时运行成本更低。 AI
影响 此次分析突显了大型语言模型开发中的一种战略权衡，表明通过在小型模型上进行大量数据训练来优化长期推理成本，可能成为一种主流方法。
排序理由 文章分析了一种特定的训练策略及其成本影响，而不是宣布新的发布或研究发现。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
