PulseAugur
实时 23:07:00
Deutsch(DE) RT @antirez: DS4 läuft auf DGX Spark (GB10 / CUDA), derzeit in einer privaten Branch. 12 Tokens pro Sekunde, die Speicherdurchsatz ist in diesem System auf 270

DS4 model runs on NVIDIA DGX Spark hardware at 12 tokens/sec

The DS4 model is reportedly running on NVIDIA's DGX Spark hardware, utilizing GB10 and CUDA. Initial performance metrics indicate a speed of 12 tokens per second, with observed memory throughput limited to 270 GB/s. This setup is currently confined to a private branch, suggesting it is in an experimental or developmental phase. AI

影响 This indicates potential advancements in AI hardware utilization and performance benchmarks for large models.

排序理由 The cluster describes a model running on specific hardware, with performance metrics, which constitutes a research milestone or technical report.

在 Mastodon — mastodon.social 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

DS4 model runs on NVIDIA DGX Spark hardware at 12 tokens/sec

报道来源 [2]

  1. Mastodon — mastodon.social TIER_1 Deutsch(DE) · [email protected] ·

    RT @antirez: DS4 runs on DGX Spark (GB10 / CUDA), for now in a private branch. 12 tokens/second, memory bandwidth is limited in this system

    RT @antirez: DS4 läuft auf DGX Spark (GB10 / CUDA), vorerst in einem privaten Branch. 12 Tokens/Sekunde, die Speicherbandbreite ist in diesem System begrenzt auf 270 GB/Sekunde. Der Prefill-Prozess ist jedoch deutlich effizienter als beim M3 Max mit ~200 t/s. Ich werde es veröffe…

  2. Mastodon — mastodon.social TIER_1 Deutsch(DE) · [email protected] ·

    RT @antirez: DS4 runs on DGX Spark (GB10 / CUDA), currently in a private branch. 12 Tokens per second, memory throughput is 270 on this system

    RT @antirez: DS4 läuft auf DGX Spark (GB10 / CUDA), derzeit in einer privaten Branch. 12 Tokens pro Sekunde, die Speicherdurchsatz ist in diesem System auf 270 GB/s begrenzt. Aber der Prefill ist deutlich besser auf den M3 Max (~200 t/s) abgestimmt. Ich werde es veröffentlichen, …