English(EN) A 120B Model Ran About 4x Faster Than a 27B One: 8 Local LLMs on a Surface Laptop Ultra

Windows on Arm上本地LLM的速度与活动参数相关，而非总大小

作者 PulseAugur 编辑部 · [1 个来源] · 2026-11-14 00:28

在Surface Laptop Ultra上进行的性能测试显示，本地大型语言模型的生成速度与其每个token的活动参数数量更相关，而非其总大小。例如，GPT-OSS 120B模型尽管总参数量远大于Qwen3.8-27B模型，但其运行速度却约为后者的3.9倍。然而，速度并不总是与能力相关，最快的模型在修复一个简单的单字符配置错误时遇到了困难。 AI

影响此基准测试表明，对于本地LLM部署，优化活动参数可以带来显著的速度提升，而不一定需要更大的模型总大小。

排序理由该条目详细介绍了在特定硬件上多个LLM的性能基准测试，比较了它们的速度和能力。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 39 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该条目详细介绍了在特定硬件上多个LLM的性能基准测试，比较了它们的速度和能力。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra, product; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

dev.to — LLM tag TIER_1 English(EN) · maruhana · 2026-11-14 00:28

120B 模型运行速度约为 27B 模型 4 倍：Surface Laptop Ultra 上的 8 个本地 LLM

Same llama.cpp build, same commands, one Surface Laptop Ultra (Windows on Arm, RTX Spark): generation speed lined up by active parameters, not total size, and the fastest model couldn't fix a one-character config error. <blockquote> This is an English adaptatio…

本文如何被排名

报道来源 [1]

120B 模型运行速度约为 27B 模型 4 倍：Surface Laptop Ultra 上的 8 个本地 LLM

相关实体

相关话题