一位用户正在寻求关于优化大型上下文窗口推理性能的建议，特别是针对 Qwen3.8-Flash-Next 模型。他们一直在尝试 llama.cpp，在短上下文速度方面取得不错的成绩，但在上下文超过 100K token 时性能显著下降。用户正在质疑 vLLM 是否是处理如此大上下文的唯一可行解决方案，特别是考虑到他们不对称的 GPU 设置，并且愿意尝试其他 llama.cpp 分支或自定义 vLLM 版本。 AI
影响 探讨大型上下文推理中的性能瓶颈，可能引导用户转向更高效的推理引擎，如 vLLM。
排序理由 用户正在就特定模型和上下文长度的推理性能优化寻求建议，并讨论了现有工具和潜在的替代方案。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
