ToolSpec
PulseAugur coverage of ToolSpec — every cluster mentioning ToolSpec across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的 Python 库简化了跨 9 个提供商的 LLM 函数调用
一个名为 `llm-api-adapter` 的新 Python 库已被开发出来,用于简化跨多个大型语言模型提供商的函数调用。该工具允许开发人员定义他们的工具并维护一个一致的 Python 工具循环,无论他们使用的是 OpenAI、Anthropic、Google、Mistral AI、xAI、Qwen、Kimi、DeepSeek 还是 Z.ai。该库支持各种消息类型和配置,能够实现无需大量代码修改即可在不同 LLM 提供商之间无缝切换。
-
LLM 工具调用需要预调度参数契约以确保安全
一种新的 LLM 工具调用方法涉及在调度调用之前实施参数契约,以防止危险错误。该契约充当执行前验证层,确保即使模型生成了有效的 JSON,参数也符合特定的类型、范围和要求标准。此方法旨在捕获诸如数据类型不正确(例如,用户 ID 为字符串而非整数)或意外的破坏性操作(例如,`dry_run: false`)等问题,防止它们造成数据损坏或未经授权的操作。
-
新的 OoO-Spec 方法可大幅加快 LLM 工具调用速度
研究人员开发了 OoO-Spec,一种加速大型语言模型 (LLM) 工具调用的新方法。该技术利用一个较小的 Qwen3-0.6B 模型作为辅助,并行预测函数选择和参数值,与传统的逐令牌生成相比,显著加快了过程。OoO-Spec 在自回归解码方面实现了高达 5.34 倍的速度提升,并且优于 ToolSpec 等现有方法,证明了其在各种 LLM 目标和基准测试中的有效性。
-
Anthropic 的 Claude Fable 5 基于语义解释拒绝工具调用
Anthropic 更新的模型 Claude Fable 5 表现出一种新行为,即它基于对请求的语义解释而非严格的逻辑执行来拒绝工具调用。这意味着,即使工具的功能是无害的,如果工具的名称、描述或参数与用户的提示结合起来,看起来像凭证提取或访问令牌评分等敏感安全操作,模型也可能拒绝使用它。这种行为归因于 Fable 5 的安全分类器,它们会评估工具调用的感知意图。建议开发者考虑其工具规范的语义含义,以避免意外拒绝。
-
新方法通过推测性解码加速大语言模型推理
研究人员开发了多种通过推测性解码加速大语言模型(LLM)推理的新方法。AdaPLD 通过使用语义相似性和分支假设来改进检索和草稿构建,实现了高达 3.10 倍的加速。SSSD 结合了 n-gram 匹配和面向硬件的推测,在无需训练的情况下将延迟降低了高达 2.9 倍。D^2SD 使用双扩散模型和置信度引导的前缀树来提高接受率,而 TAPS 则优化了扩散草稿解码的前缀树选择,实现了高达 7.9 倍的加速。KnapSpec 将草稿模型选择…