PulseAugur
中
实时 18:17:55
English(EN) llama-server's Anthropic API ignores tool_choice and stops inside reasoning

llama-server API未能正确应用tool_choice和stop_sequences

作者 PulseAugur 编辑部 · [1 个来源] ·

llama-server项目在使用其兼容Anthropic的API时，发现了两个重大问题。首先，旨在指导模型函数调用的`tool_choice`参数未能正确应用，导致模型选择错误的工具或完全忽略`none`选项。其次，`stop_sequences`功能通过匹配模型的内部推理过程而非仅其最终输出来过早地终止响应，导致答案不完整或为空。这些bug是在特定构建版本的llama.cpp和Qwen3-0.6B模型上观察到的，并与vLLM中先前报告的问题相似。 AI

影响 llama-server的Anthropic API仿真中的这些bug可能会阻碍其在支持工具使用的LLM应用中的采用。

排序理由 开源LLM服务工具的bug报告和分析。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

llama-server API未能正确应用tool_choice和stop_sequences

本文如何被排名

Signal score
0 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
开源LLM服务工具的bug报告和分析。
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
product, other
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
9 days old
Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · The Homelab Postmortem ·

    llama-server 的 Anthropic API 忽略 tool_choice 并在推理中停止

    <p><strong>TL;DR</strong>: llama-server's Anthropic-compatible <code>/v1/messages</code> endpoint accepts two request controls and doesn't apply them. A forced tool, <code>tool_choice: {"type": "tool", "name": "get_time"}</code>, is treated as "call some tool": with <code>get_wea…

相关实体

相关话题