PulseAugur
中
实时 03:22:32
English(EN) Quantizing the KV cache in Ollama on RTX Spark: half the memory, a third slower

在Ollama中量化KV缓存会减慢Qwen3 coder 30b的速度，但会增加上下文容量

作者 PulseAugur 编辑部 · [1 个来源] ·

在RTX Spark GPU上使用Ollama进行的一项实验，探索了对Qwen3 coder 30b模型量化KV缓存的影响。虽然8位和4位量化显著减少了内存使用量，使得更大的上下文窗口（高达262,144个token）能够完全装入GPU，但这也导致了token处理速度的明显下降。例如，4位缓存将内存从9,600 MiB减少到2,700 MiB，但解码速度从默认f16缓存的19.9 token/秒降至13.1 token/秒。尽管速度有所降低，但即使在极长的上下文中，模型仍保持了事实准确性和相关性。 AI

影响 量化技术在内存效率和速度之间提供了权衡，使得在消费级硬件上运行更大的模型和上下文成为可能。

排序理由 文章详细介绍了使用现有软件（Ollama）和硬件（RTX Spark）优化LLM性能的实验，而不是发布新产品或基础研究。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

在Ollama中量化KV缓存会减慢Qwen3 coder 30b的速度，但会增加上下文容量

本文如何被排名

Signal score
3 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
文章详细介绍了使用现有软件（Ollama）和硬件（RTX Spark）优化LLM性能的实验，而不是发布新产品或基础研究。
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
infra, model release
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Same-day
Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · Steef-Jan Wiggers ·

    Ollama 在 RTX Spark 上量化 KV 缓存：内存减半，速度慢三分之一

    <p>I predicted that an 8-bit KV cache would take qwen3-coder:30b from 20 to 34 tokens a second at a 100K-token prompt, and a 4-bit cache to 52. On my Surface Laptop Ultra with RTX Spark, both made it slower: 13.8 tokens a second with q8_0 and 13.1 with q4_0, against 19.9 with the…

相关实体

相关话题