实体
VKORE-325M-NPU-Base
VKORE-325M-NPU-Base
PulseAugur coverage of VKORE-325M-NPU-Base — every cluster mentioning VKORE-325M-NPU-Base across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
仅推理NPU在LLM预训练中达到GPU质量
Vidraft Lab已成功使用REBELLION ATOM-Max（一款商用仅推理NPU）从头开始预训练了一个3.25亿参数的语言模型VKORE-325M-NPU-Base。这一成就挑战了仅推理NPU不能用于训练的观点。在未见过文本数据上的评估中，该NPU的性能与Nvidia B200 GPU相当，损失值分别为0.7993和0.7994。Vidraft已开源模型权重和评估脚本，但其专有的训练框架和对成功训练至关重要的稳定技术仍处于专利保护之下。
-
仅推理的 NPU 在 LLM 预训练质量上媲美 Nvidia B200
研究人员证明，一款仅用于推理的 NPU（Rebellions ATOM-Max）能够成功预训练一个语言模型，其质量可与 Nvidia B200 GPU 上的训练相媲美。该 VKORE-325M-NPU-Base 模型拥有 3.25 亿参数，在 50 亿 token 上从头开始训练。在对未见过文本进行评估时，NPU 训练的模型达到了 0.7993 的损失值，与 GPU 训练模型的 0.7994 损失值几乎没有差别，这表明通过正确的软件栈…