一位用户详细介绍了在个人 Linux 机器上本地运行 DeepSeek V4.1 Flash 模型的基准测试结果。该设置在启用了视觉输入的情况下,利用三块 GPU 实现了每秒 42 个 token 的生成速度和 256K 的上下文窗口。用户强调,这些结果来自自定义量化构建和修补的引擎,因此不能直接与 llama.cpp 或 Ollama 等工具的默认配置进行比较。其性能归因于模型组件在 GPU、系统 RAM 和 Optane SSD 上的策略性放置,以管理 MoE 架构和大型上下文窗口。 AI
影响 展示了消费级硬件上大上下文模型的卓越性能,可能降低本地部署 AI 的门槛。
排序理由 用户在自定义硬件上对开源模型的基准测试。[lever_c_demoted from research: ic=1 ai=1.0]
- DeepSeek V4.1 Flash
- EXL3
- Linux
- llama.cpp
- Muse
- Nvidia GeForce RTX 5070 Ti
- Ollama
- Optane SSD
- RTX 5060 Ti
- vLLM
- Zenn
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →