一位用户在使用 Qwen3.6 27B 模型时达到了新的个人解码速度记录，在单个 3090 GPU 上达到了每秒 219 个 token。这超过了他们之前每秒 206 个 token 的记录。用户还注意到 KV 缓存量化对模型质量的显著影响，这表明他们在编码模型方法上的转变。 AI
影响 展示了推理速度的提高，并强调了 KV 缓存量化对编码模型的重要性。
排序理由 用户报告模型性能和优化技术。
在 Mastodon — sigmoid.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
RT @spiritbuun: Mein bisheriges Bestresultat beim Decodieren auf einer einzelnen 3090 mit Qwen3.6 27B lag bei 206 Tok/s. Heute habe ich es übertroffen: 219 Tok/s. Eine 3090. Die DFlash-Performance-Optimierungen wurden verschoben, sind jetzt aber auf buun-llama verfügbar. Weitere …
RT @JoelDeTeves: Ich hatte keine Ahnung, wie stark das Quantisieren des KV-Caches die Modellqualität beeinflusst. Von nun an werde ich meine Coding-Modelle ohne Quantisierung betreiben. Besonders beim 27B-Modell ist der Unterschied deutlich: statt einer Generation meist zwei Gene…