PulseAugur
中
实时 08:30:03
English(EN) Can an Inference-Only NPU Pretrain an LLM? We Trained 325M Parameters from Zero and Matched a B200

仅推理的 NPU 在 LLM 预训练质量上媲美 Nvidia B200

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员证明，一款仅用于推理的 NPU（Rebellions ATOM-Max）能够成功预训练一个语言模型，其质量可与 Nvidia B200 GPU 上的训练相媲美。该 VKORE-325M-NPU-Base 模型拥有 3.25 亿参数，在 50 亿 token 上从头开始训练。在对未见过文本进行评估时，NPU 训练的模型达到了 0.7993 的损失值，与 GPU 训练模型的 0.7994 损失值几乎没有差别，这表明通过正确的软件栈和稳定性技术，推理硬件可以重新用于训练。 AI

影响 表明推理硬件可以重新用于训练，可能降低 LLM 开发的成本并提高其可及性。

排序理由 研究论文展示了仅推理硬件的新颖能力。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

仅推理的 NPU 在 LLM 预训练质量上媲美 Nvidia B200

本文如何被排名

Signal score
43 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Research
研究论文展示了仅推理硬件的新颖能力。
Source corroboration
2 independent sources
Multiple independent publishers reporting the same story raises confidence that it's real and newsworthy.
Topics
model release, infra
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Breaking (< 6h)
Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [2]

  1. dev.to — LLM tag TIER_1 Español(ES) · 김민식/학생 ·

    仅推理的NPU能否预训练LLM？从零开始的3.25亿参数，质量媲美B200

    <h2> Resumen </h2> <p>Sí, siempre que exista una pila de entrenamiento hecha para ello. En VIDRAFT preentrenamos <strong>VKORE-325M-NPU-Base</strong> (325,6 millones de parámetros) desde una inicialización aleatoria en la <strong>Rebellions ATOM-Max</strong>, una NPU comercial co…

  2. dev.to — LLM tag TIER_1 English(EN) · AI OpenFree ·

    仅推理NPU能否预训练LLM？我们从零开始训练了3.25亿参数并媲美B200

    <h2> TL;DR </h2> <p>Yes, an inference-only NPU can pretrain a language model, if the training stack is built for it. We pretrained <strong>VKORE-325M-NPU-Base</strong> (325.6M parameters) from random initialization on the <strong>Rebellions ATOM-Max</strong>, a commercially avail…

相关实体

相关话题