PulseAugur
中
实时 11:36:42
English(EN) Revisiting Training Scale: An Empirical Study of Token Count, Power Consumption, and Parameter Efficiency

研究发现：LLM训练效率随代币数量增加而下降

作者 PulseAugur 编辑部 · [1 个来源] ·

一篇新发表在arXiv上的研究论文，探讨了大语言模型中训练代币数量与模型效率之间的关系。研究人员发现，尽管随着代币数量的增加，性能提升可能会趋于平缓甚至下降，但能源和计算成本却在持续上升。该研究使用了TinyLlama模型，并进行了不同代币数量的训练，结果表明，即使在观察到边际性能提升的情况下，随着代币数量的增加，训练效率也明显下降。这凸显了在评估LLM训练时，需要考虑能源消耗和计算成本。 AI

影响 强调了LLM训练中增加代币数量的能源效率低下问题，并建议需要进行关注效率的评估。

排序理由 发表在arXiv上的学术论文，详细介绍了LLM训练参数的实证研究。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Joe Dwyer ·

    重新审视训练规模：代币数量、功耗和参数效率的实证研究

    arXiv:2601.06649v2 Announce Type: replace-cross Abstract: Research in machine learning has questioned whether increases in training token counts reliably produce proportional performance gains in large language models. Building on prior work introducing an energy-aware parameter …

相关实体

相关话题