(CA) Ollama says my model does 13,826 tokens/sec. It does 43.

Ollama 的 token 速度指标因缓存膨胀而产生误导

作者 PulseAugur 编辑部 · [1 个来源] · 2026-09-15 22:14

一篇最新的博文指出，Ollama 在报告模型性能方面存在显著差异，尤其是在 token 生成速度方面。作者演示了 Ollama 的默认指标可能产生误导，通过将缓存的 token 计入计算来夸大报告的每秒 token 数。这导致对实际模型吞吐量的表示不准确，特别是在提示元素被重复使用的对话场景中。该博文建议进行修正计算，考虑未缓存的 token，以提供更真实的性能衡量。 AI

影响准确的性能指标对于开发人员选择和优化本地 LLM 部署至关重要。

排序理由该条目讨论了一个软件工具（Ollama）中与性能指标计算相关的具体技术细节和潜在错误。

在 dev.to — LLM tag 阅读 →

基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 22 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该条目讨论了一个软件工具（Ollama）中与性能指标计算相关的具体技术细节和潜在错误。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

dev.to — LLM tag TIER_1 (CA) · Ivan Stankovic · 2026-09-15 22:14

Ollama 声称我的模型每秒可处理 13,826 个 token。实际是 43 个。

<p>That number is not a typo, and my GPU has not improved. Both figures came out of the same daemon, from the same prompt, thirty seconds apart.</p> <p>If you have Ollama running, you can check this on your own machine before you read any further. Send the same prompt twice and p…

本文如何被排名

报道来源 [1]

Ollama 声称我的模型每秒可处理 13,826 个 token。实际是 43 个。

相关实体

相关话题