English(EN) Claude cli >= 2.1.154 breaks local use with vLLM by introducing "ctx", "msg" and "system" roles for API messages. This 1-line patch to vLLM fixes it.

Anthropic Claude CLI 更新破坏 vLLM 本地使用；已发布补丁

作者 PulseAugur 编辑部 · [1 个来源] · 2026-05-28 22:16

Anthropic 最新的 Claude CLI 更新版本 2.1.154 引入了与 vLLM 框架不兼容的新消息角色。这种不兼容性阻止了 vLLM 本地使用 Claude 模型。已提出一个社区开发的 vLLM 补丁，以重新引入对这些新角色的支持，特别是解决了 "ctx"、"msg" 和 "system" 类型。 AI

影响模型接口和推理引擎之间的兼容性问题可能会阻碍 AI 模型的本地开发和部署。

排序理由某产品的软件更新导致了与第三方工具的兼容性问题，需要一个补丁。

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

r/LocalLLaMA TIER_1 English(EN) · /u/Vicar_of_Wibbly · 2026-05-28 22:16

Claude cli >= 2.1.154 引入 API 消息的 "ctx", "msg" 和 "system" 角色，导致本地使用 vLLM 出现故障。vLLM 的这一行补丁解决了此问题。

<div class="md"><pre><code>diff --git a/vllm/entrypoints/anthropic/protocol.py b/vllm/entrypoints/anthropic/protocol.py index 3ebc17117..2d5726d73 100644 --- a/vllm/entrypoints/anthropic/protocol.py +++ b/vllm/entrypoints/anthropic/protocol.py @@ -65,7 +65,7 @@ cla…

报道来源 [1]

Claude cli >= 2.1.154 引入 API 消息的 "ctx", "msg" 和 "system" 角色，导致本地使用 vLLM 出现故障。vLLM 的这一行补丁解决了此问题。

相关实体

相关话题