一项技术分析显示，尽管像 MTP 这样的推测解码技术可以显著加快 LLM 的生成速度，但它们并未解决提示处理（称为预填充）的瓶颈。对于像 Qwen3.6-27B 在单个 RTX 3090 上的模型，处理 128k token 的提示可能需要两分多钟才能生成第一个 token。这种预填充延迟在检索增强生成（RAG）场景中尤其具有影响，因为这些场景需要处理大量上下文，从而削弱了更快速生成的优势。 AI
影响 强调提示处理（预填充）是长上下文 LLM 应用（如 RAG）的主要瓶颈，建议将重点放在上下文优化而非生成速度提升上。
排序理由 对 LLM 性能特征的技术分析。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →