对 13 种不同的大型语言模型在 65K 至 128K 令牌的上下文长度下进行的基准测试显示，对于代理工作负载而言，提示处理（预填充）速度是最关键的因素，而不是令牌生成速度。使用 llama.cpp 在 RX 7900 XT GPU 上进行的测试表明，KV 缓存配置和模型架构（特别是 MoE 模型）显著影响了性能。结果表明，优化预填充效率是需要广泛上下文处理的应用程序的关键。 AI
影响 通过关注预填充速度和 KV 缓存配置来优化 LLM 在代理工作负载下的性能。
排序理由 基准测试结果发布在面向研究的子版块上。[lever_c_demoted from research: ic=1 ai=1.0]
- Gemma-4-12B
- Gemma-4-26B-A4B
- Granite-4.0-H-Small
- llama.cpp
- North-Mini-Code
- Ornith-9B
- Qwen3.5-9B
- Qwen3.6-27B
- Qwen3.6-35B-A3B
- Trinity-Mini
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
