PulseAugur
中
实时 11:22:37
English(EN) DeepSeek V4.1 Flash at 42 tok/s with 256K Context on RTX 5070 Ti x2 + 5060 Ti — Full Benchmark Record

DeepSeek V4.1 Flash 在消费级 GPU 上以 42 tok/s 和 256K 上下文进行基准测试

一位用户详细介绍了在个人 Linux 机器上本地运行 DeepSeek V4.1 Flash 模型的基准测试结果。该设置在启用了视觉输入的情况下,利用三块 GPU 实现了每秒 42 个 token 的生成速度和 256K 的上下文窗口。用户强调,这些结果来自自定义量化构建和修补的引擎,因此不能直接与 llama.cpp 或 Ollama 等工具的默认配置进行比较。其性能归因于模型组件在 GPU、系统 RAM 和 Optane SSD 上的策略性放置,以管理 MoE 架构和大型上下文窗口。 AI

影响 展示了消费级硬件上大上下文模型的卓越性能,可能降低本地部署 AI 的门槛。

排序理由 用户在自定义硬件上对开源模型的基准测试。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

DeepSeek V4.1 Flash 在消费级 GPU 上以 42 tok/s 和 256K 上下文进行基准测试

本文如何被排名

Signal score
48 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
用户在自定义硬件上对开源模型的基准测试。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
infra, model release
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Breaking (< 6h)
Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · KeithVal ·

    DeepSeek V4.1 在 RTX 5070 Ti x2 + 5060 Ti 上以 42 tok/s 和 256K 上下文速度运行 — 全面基准测试记录

    <p><em>This article is based on my own benchmark records, written by me together with Muse (an AI assistant). The original Japanese version is on <a href="https://zenn.dev/keithval/articles/deepseek-v41-flash-42tps-256k" rel="noopener noreferrer">Zenn</a>.</em></p> <p>I run DeepS…