一位用户已成功在Ascent GX10系统上部署了REAP-pruned NVFP4版本的DeepSeek-V4 Flash模型。该设置使用单个Apache Spark实例，并在长上下文长度下展示了稳定的吞吐量。用户还开发了一个Grafana仪表板来监控Spark服务器的性能，该服务器以262k的上下文长度和VLLM提供服务。 AI
影响 展示了在本地硬件设置中大型语言模型的实际应用和性能调优。
排序理由 现有模型的用户级部署和性能测试。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1up6t50/got_my_ascent_gx10_two_days_ago_ran_reappruned/"> <img alt="Got my Ascent GX10 two days ago, ran REAP-pruned NVFP4 DeepSeek-V4-Flash on a single Spark, and it stays consistent at long context" src="htt…