PulseAugur
实时 19:49:42
English(EN) Can't seem to enable reasoning in llama.cpp

用户寻求启用 llama.cpp 中推理功能的帮助

一位用户在 r/LocalLLaMA 子版块上寻求有关在 llama.cpp 软件中启用推理功能的帮助。他们尝试使用特定参数,如 '--chat-template-kwargs '{"enable_thinking":true}' --reasoning on --reasoning-budget -1',并在提示中添加 '/think',但这些方法并未产生预期结果。用户特别尝试使用已知支持推理的模型,例如 TheDrummer Rocinante X 12BAI

影响 此查询突显了用户在利用本地 LLM 部署的高级功能时遇到的挑战,表明了在采用推理功能方面可能存在的摩擦点。

排序理由 用户正在就特定软件工具寻求帮助。

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/TrainingTwo1118 ·

    Can't seem to enable reasoning in llama.cpp

    <!-- SC_OFF --><div class="md"><p>Hi, I'm trying to use some LLMs which I know support reasoning (TheDrummer Rocinante X 12B model) but I can't for the life of me to get it to work.</p> <p>I've tried using all these parameters: <code>--chat-template-kwargs '{&quot;enable_thinking…