DGX Sparks
PulseAugur coverage of DGX Sparks — every cluster mentioning DGX Sparks across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
GLM-5.2 NVFP4 修复bug后在128K上下文下达到24 tok/s · 跟踪到1个来源
一位用户解决了在四台DGX Spark上运行GLM-5.2 NVFP4模型时遇到的问题，在128K上下文长度下实现了约每秒24个token的吞吐量。该问题涉及推测解码配置中的一个bug，其中草稿模型的KV缓存和元数据被分片，但其注意力机制未能识别这种分片，导致计算错误。通过确保在配置过程中正确复制`decode_context_parallel_size`，修复了此bug，消除了之前上下文长度和速度之间的权衡。
-
DeepSeek V4-Flash 在双DGX Sparks上达到40 Ttk/s
一位用户分享了在双DGX Sparks硬件上运行DeepSeek V4-Flash模型的配置和基准测试。该设置在FP8精度下实现了约每秒40万亿token（tera-tokens per second）的吞吐量，并在处理具有256k上下文窗口的多个请求时，聚合吞吐量可达每秒350万亿token。此性能与Nvidia RTX Pro 6000和Mac M2 Ultra系统进行了比较，突显了双DGX设置在大模型推理方面的效率。
-
LLM 爱好者寻求机架以容纳多个 AI 计算设备
一位用户在 r/LocalLLaMA 子版块上寻求高质量、全金属机架或置物架的推荐，用于整理用于托管大型语言模型的多个小型计算设备。该用户目前拥有两台 DGX Sparks 和一台 Framework Strix Halo 电脑，并计划用更多设备扩展其设置，需要一个能够适应未来增长的解决方案。他们正在寻找在美国可用的选项，并对亚马逊上找到的塑料侧面机架的制造质量表示担忧。