一位用户在 r/LocalLLaMA 子版块上寻求有关在 llama.cpp 软件中启用推理功能的帮助。他们尝试使用特定参数,如 '--chat-template-kwargs '{"enable_thinking":true}' --reasoning on --reasoning-budget -1',并在提示中添加 '/think',但这些方法并未产生预期结果。用户特别尝试使用已知支持推理的模型,例如 TheDrummer Rocinante X 12B。 AI
影响 此查询突显了用户在利用本地 LLM 部署的高级功能时遇到的挑战,表明了在采用推理功能方面可能存在的摩擦点。
排序理由 用户正在就特定软件工具寻求帮助。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →