PulseAugur
中
实时 06:24:52
English(EN) I developed my own quantized LLM from scratch, trained on 30B tokens, deploys in 60 MB [R]

开发者创建可在 CPU 上运行的超轻量级大语言模型

作者 PulseAugur 编辑部 · [2 个来源] ·

一位开发者创建了一个自定义的量化大语言模型 SHADOW-250M-Instruct，拥有 2.5 亿个参数，在 300 亿词元上训练。该模型专为极致效率而设计，部署大小仅为 60 MB，且内存占用极少，使其无需 GPU 即可在标准笔记本电脑 CPU 上运行。它具有独特的长上下文机制，可将旧信息压缩到磁盘，以及新颖的词汇系统，使其能够访问多达 1 亿词元的历史记录，尽管它主要针对检索而非在扩展上下文中进行深度推理进行训练。 AI

影响 使低资源设备能够运行功能强大大语言模型，可能实现 AI 的普及化访问和用例。

排序理由 该条目描述了一个新颖、高效大语言模型的创建和技术细节，包括其训练过程、架构和性能指标，这符合该领域的研究和开发。

在 r/MachineLearning 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

开发者创建可在 CPU 上运行的超轻量级大语言模型

本文如何被排名

Signal score
0 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Research
该条目描述了一个新颖、高效大语言模型的创建和技术细节，包括其训练过程、架构和性能指标，这符合该领域的研究和开发。
Source corroboration
2 independent sources
Multiple independent publishers reporting the same story raises confidence that it's real and newsworthy.
Topics
model release, infra
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
47 days old
Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [2]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/Final-Data-1410 ·

    我从头开始开发了自己的量化大模型，在300亿token上训练，部署仅需60MB

    <!-- SC_OFF --><div class="md"><p>Reposting here after sharing this on [<a href="/r/MachineLearning">r/MachineLearning</a>](<a href="/r/MachineLearning">r/MachineLearning</a>) a few days ago, where it got a much better response than I expected (300+ upvotes, great questions, zero…

  2. r/MachineLearning TIER_1 English(EN) · /u/Final-Data-1410 ·

    我从头开始开发了自己的量化LLM，在300亿个token上训练，部署大小为60MB [R]

    <!-- SC_OFF --><div class="md"><p>I trained a 250M parameter model from scratch on 30B tokens of fineweb. It’s quantized to under 2 bits so the whole deployment is 60 MB and it needs about 80 MB of RAM to run. Runs around 400 tok/s on a normal laptop CPU, no GPU needed.</p> <p>Ho…

相关实体

相关话题