一位用户遇到了 Ollama 提示处理的重大问题，其中 `num_ctx` 设置悄悄地将超过 2048 个 token 的提示截断了。这导致他们的本地 RAG 机器人准确性急剧下降，从 81% 降至 46%。截断导致模型错过了关键指令和排名靠前的检索到的块，从而导致错误的 JSON 格式和事实错误。通过在 Modelfile 或通过原生 API 中显式将 `num_ctx` 设置为更高值（例如 8192）来解决此问题，这以增加 VRAM 使用量为代价将准确性恢复到 81%。 AI
影响 突出了本地 LLM 部署和提示工程中潜在的陷阱，影响了使用 Ollama 进行 RAG 应用的开发者。
排序理由 用户报告的特定软件工具功能问题。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
