PulseAugur
中
实时 20:46:53
English(EN) Betelgeuse running DeepSeek V4.1 Flash Q8_XL (1017) at 19 tok/s decode & 62 tok/s prefill on an RTX 3060 12GB + 16GB RAM: How we finally fixed the prefill bottleneck on out-of-core MoEs

通过 Betelgeuse 优化,DeepSeek V4.1 Flash 在 RTX 3060 上实现交互式速度

一位用户成功优化了 Betelgeuse 推理引擎,使其能在消费级硬件上运行大型 DeepSeek V4.1 Flash 模型,具体配置为配备 12GB 显存和 16GB 内存的 RTX 3060。通过实现位置不变的缓存分区、单通道层主导的预填充以及结束时的显存合并,解决了通常困扰 out-of-core 专家混合 (MoE) 模型的预填充瓶颈。这些优化将提示处理速度从每秒几 token 大幅提升至每秒 60 token 以上,使得模型在指定硬件上可用。 AI

影响 展示了大型 MoE 模型在低端硬件上取得显著性能提升,可能拓宽其可及性。

排序理由 用户在消费级硬件上对现有模型的优化。

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

通过 Betelgeuse 优化,DeepSeek V4.1 Flash 在 RTX 3060 上实现交互式速度

本文如何被排名

Signal score
16 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
用户在消费级硬件上对现有模型的优化。
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
infra, model release
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Breaking (< 6h)
Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/zyxciss ·

    Betelgeuse 在 RTX 3060 12GB + 16GB RAM 上运行 DeepSeek V4.1 Flash Q8_XL (1017),解码速度 19 token/秒,预填充速度 62 token/秒:我们如何最终解决了 out-of-core MoE 的预填充瓶颈

    <table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1xqfekg/betelgeuse_running_deepseek_v41_flash_q8_xl_1017/"> <img alt="Betelgeuse running DeepSeek V4.1 Flash Q8_XL (1017) at 19 tok/s decode &amp; 62 tok/s prefill on an RTX 3060 12GB + 16GB RAM: How we finall…