한국어(KO) 추론 전용 NPU로 LLM 사전학습이 가능할까? 3억 2,500만 파라미터를 0부터 학습해 B200과 같은 품질을 냈다

仅推理NPU在LLM预训练中达到GPU质量

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-26 05:53

Vidraft Lab已成功使用REBELLION ATOM-Max（一款商用仅推理NPU）从头开始预训练了一个3.25亿参数的语言模型VKORE-325M-NPU-Base。这一成就挑战了仅推理NPU不能用于训练的观点。在未见过文本数据上的评估中，该NPU的性能与Nvidia B200 GPU相当，损失值分别为0.7993和0.7994。Vidraft已开源模型权重和评估脚本，但其专有的训练框架和对成功训练至关重要的稳定技术仍处于专利保护之下。 AI

影响证明了仅推理NPU可用于LLM预训练，可能降低硬件成本并提高可及性。

排序理由研究论文详细介绍了在仅推理NPU上成功进行LLM预训练。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 27 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 研究论文详细介绍了在仅推理NPU上成功进行LLM预训练。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: model release, infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

dev.to — LLM tag TIER_1 한국어(KO) · Vidraft_lab · 2026-10-26 05:53

推理专用NPU能否用于LLM预训练？我们从零开始训练了3.25亿参数，质量可媲美B200。

<h2> 요약 </h2> <p>가능합니다. 단, 학습용 소프트웨어를 따로 만들어야 합니다. 비드래프트는 3억 2,560만 파라미터 언어모델 <strong>VKORE-325M-NPU-Base</strong>를 무작위 초기값에서 출발해 <strong>리벨리온 ATOM-Max</strong>(2025년 출시된 상용 추론 전용 NPU)로 사전학습했습니다. 같은 모델을 <strong>B200 GPU</strong>로도 학습해 비교했습니다. 두 모델 모두 학습에 한 번도 쓰지 않은 텍스트 1,024개 구간에…

本文如何被排名

报道来源 [1]

推理专用NPU能否用于LLM预训练？我们从零开始训练了3.25亿参数，质量可媲美B200。

相关实体

相关话题