English(EN) Running a 2-model literary book-translation pipeline on 2x Tesla P40: gemma-4-26B-A4B at ~40 tok/s + Qwen3.6-35B-A3B at 50-70 tok/s with MTP spec decode — full llama-server flags inside

双模型文学翻译流水线在 Tesla P40 上实现每天 2-3 本书的翻译量

作者 PulseAugur 编辑部 · [1 个来源] · 2026-09-02 08:50

一位用户详细介绍了一个利用两块 Tesla P40 GPU 进行文学书籍翻译的双模型流水线。该流水线使用 Gemma 4 - 26B-A4B 进行翻译，速度约为每秒 40 token，并使用 Qwen3.6 35B-A3B 进行校对，速度为每秒 50-70 token。该设置利用了多 token 预测 (MTP) 推测解码和 64K 上下文窗口，以实现高效、大批量的整本书翻译。 AI

影响展示了针对书籍翻译等专业、大批量任务的高效本地 LLM 部署。

排序理由用户开发的工具和推理设置详情。

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 4 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 用户开发的工具和推理设置详情。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra, product; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

r/LocalLLaMA TIER_1 English(EN) · /u/neowisard · 2026-09-02 08:50

在 2x Tesla P40 上运行一个 2 模型文学书籍翻译流水线：gemma-4-26B-A4B 速度约 40 token/秒 + Qwen3.6-35B-A3B 速度 50-70 token/秒，采用 MTP spec decode — 包含完整的 llama-server 参数

<div class="md">Disclosure up front: I built this tool (open source, "Sunny Narrator") and I'm the author — this post is about the inference setup, not an ad. Feel free to skip to the flags if you're here for the numbers. Contex…

本文如何被排名

报道来源 [1]

在 2x Tesla P40 上运行一个 2 模型文学书籍翻译流水线：gemma-4-26B-A4B 速度约 40 token/秒 + Qwen3.6-35B-A3B 速度 50-70 token/秒，采用 MTP spec decode — 包含完整的 llama-server 参数

相关实体

相关话题