研究人员开发了一种经济高效的语言模型预训练方法,使得在 RTX 5090 GPU 等消费级硬件上训练模型的成本低于 7000 美元。这种新方法以 Puro-2B 模型系列为演示,旨在通过显著降低训练大型模型的高昂成本来普及 AI 开发。该方法包括低精度训练和优化的数据课程等技术,其中表现最好的模型接近 Qwen2.5-1.5B 的性能。研究团队还推导出了一个成本缩放定律,表明达到 Qwen2-1.5B 的性能可能只需 4400 美元,并且他们将以 Apache 2.0 许可证发布完整的训练方法、代码和模型权重。 AI
影响 通过显著降低训练大型语言模型的成本,使更广泛的研究人员和开发人员能够获得先进的功能,从而普及了 AI 开发。
排序理由 该项目是一篇详细介绍 AI 模型训练新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →