一种新的优化器允许以显著减少的内存需求训练大型语言模型,使用户能够在 RTX 3090 等消费级 GPU 上训练多达 270 亿参数的模型。该技术将每权重内存占用从大约 16 字节减少到 1 字节或更少,还便于转换和进一步训练现有模型。虽然生成的模型可能存在一些局限性,例如循环或事实回忆问题,但它们为用户提供了在自己的硬件上针对特定目的进行微调的灵活性。 AI
影响 降低了 LLM 训练的硬件门槛,可能使微调和模型开发更加普及。
排序理由 该项目描述了一种训练 LLM 的新优化技术,并附有论文和代码,符合研究类别。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →