English(EN) I measure how fast 42 LLMs actually answer. Here's the honest method.

42个大语言模型速度基准测试：小型模型通常更快

作者 PulseAugur 编辑部 · [1 个来源] · 2026-06-16 05:06

一个名为ollamatps.com的独立追踪器对42个大语言模型（LLMs）进行了基准测试，以衡量它们的实际响应速度，区分了首次响应时间（TTFT）和每秒令牌数（TPS）。该基准测试由前苹果工程师Anton开发，使用固定的提示和输出上限，并进行持续的重新测试以确保可靠性。结果表明，模型大小与速度无关，小型模型通常优于大型模型，并且首次响应时间存在显著差异，某些模型的速度慢了多达80倍。 AI

影响强调了除了原始智能之外，速度指标对于大语言模型的部署和用户体验至关重要。

排序理由独立基准测试多个大语言模型，衡量速度指标。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

dev.to — LLM tag TIER_1 English(EN) · Anton Gulin · 2026-06-16 05:06

I measure how fast 42 LLMs actually answer. Here's the honest method.

<p>I test software for a living. So when a vendor calls an AI model "fast," I don't trust the word. I measure it.</p> <p>Most leaderboards rank how smart a model is. Almost none rank how fast it answers. You pick a model because it scored well, ship it, and then your users sit an…

报道来源 [1]

I measure how fast 42 LLMs actually answer. Here's the honest method.

相关实体

相关话题