PulseAugur
中
实时 23:59:47
English(EN) You can now train your own LLMs with less memory, on your gaming GPUs

新的优化器支持在消费级 GPU 上以更少内存训练 LLM

一种新的优化器允许以显著减少的内存需求训练大型语言模型,使用户能够在 RTX 3090 等消费级 GPU 上训练多达 270 亿参数的模型。该技术将每权重内存占用从大约 16 字节减少到 1 字节或更少,还便于转换和进一步训练现有模型。虽然生成的模型可能存在一些局限性,例如循环或事实回忆问题,但它们为用户提供了在自己的硬件上针对特定目的进行微调的灵活性。 AI

影响 降低了 LLM 训练的硬件门槛,可能使微调和模型开发更加普及。

排序理由 该项目描述了一种训练 LLM 的新优化技术,并附有论文和代码,符合研究类别。[lever_c_demoted from research: ic=1 ai=1.0]

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的优化器支持在消费级 GPU 上以更少内存训练 LLM

本文如何被排名

Signal score
1 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
该项目描述了一种训练 LLM 的新优化技术,并附有论文和代码,符合研究类别。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
infra, model release
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Same-day
Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/oguzeldereli ·

    现在你可以用更少的内存,在你的游戏 GPU 上训练你自己的 LLM 了

    <!-- SC_OFF --><div class="md"><p><strong>TL;DR: You can train your own 27B model on a 3090 with 24GB VRAM, though you would have to go through hundreds of billions of tokens for it to be good. I am working on conversion of existing models. Check repos for code and the paper if y…