据报道，DS4 模型正在 NVIDIA 的 DGX Spark 硬件上运行，使用了 GB10 和 CUDA。初步性能指标显示速度为每秒 12 个 token，观察到的内存吞吐量限制在 270 GB/s。该设置目前仅限于私有分支，表明它处于实验或开发阶段。 AI
影响 这表明在大型模型的 AI 硬件利用率和性能基准方面可能取得进展。
排序理由 该集群描述了一个在特定硬件上运行的模型，并附有性能指标，这构成了一个研究里程碑或技术报告。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
RT @antirez: DS4 läuft auf DGX Spark (GB10 / CUDA), vorerst in einem privaten Branch. 12 Tokens/Sekunde, die Speicherbandbreite ist in diesem System begrenzt auf 270 GB/Sekunde. Der Prefill-Prozess ist jedoch deutlich effizienter als beim M3 Max mit ~200 t/s. Ich werde es veröffe…
RT @antirez: DS4 läuft auf DGX Spark (GB10 / CUDA), derzeit in einer privaten Branch. 12 Tokens pro Sekunde, die Speicherdurchsatz ist in diesem System auf 270 GB/s begrenzt. Aber der Prefill ist deutlich besser auf den M3 Max (~200 t/s) abgestimmt. Ich werde es veröffentlichen, …