Reddit r/LocalLLaMA板块的一名用户在使用Qwen 27B模型并启用MTP（多轮提示）时，遇到了上下文窗口大小显著缩减的问题。尽管该模型报告的上下文窗口为137k，但通过特定命令行参数（`spec-type draft-mtp --spec-draft-n-max 2`）启用MTP后，有效上下文大小会降至14k。用户正在寻求确认这种大幅缩减是否是预期行为。 AI
影响 调查本地LLM部署中潜在的限制或错误。
排序理由 用户关于特定模型在启用特定功能时的行为的查询。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>Note: Latest version of llama.cpp (b4c0549a49be9e6dc59ac9d0a5bc21dbda910774)</p> <p>My run command:</p> <p>```</p> <p>llama-server \</p> <p>--temp 0.6 \</p> <p>--top-p 0.95 \</p> <p>--top-k 20 \</p> <p>--presence_penalty 0.0 \</p> <p>--min-p 0.00…