LLM 上下文基准测试：预填充速度和 KV 缓存对代理最重要

对 13 种不同的大型语言模型在 65K 至 128K 令牌的上下文长度下进行的基准测试显示，对于代理工作负载而言，提示处理（预填充）速度是最关键的因素，而不是令牌生成速度。使用 llama.cpp 在 RX 7900 XT GPU 上进行的测试表明，KV 缓存配置和模型架构（特别是 MoE 模型）显著影响了性能。结果表明，优化预填充效率是需要广泛上下文处理的应用程序的关键。 AI

影响 通过关注预填充速度和 KV 缓存配置来优化 LLM 在代理工作负载下的性能。

排序理由 基准测试结果发布在面向研究的子版块上。[lever_c_demoted from research: ic=1 ai=1.0]

在 r/LocalLLaMA 阅读 →

• Gemma-4-12B
• Gemma-4-26B-A4B
• Granite-4.0-H-Small
• llama.cpp
• North-Mini-Code
• Ornith-9B
• Qwen3.5-9B
• Qwen3.6-27B
• Qwen3.6-35B-A3B
• Trinity-Mini

• 基础设施
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →