新的 OoO-Spec 方法可大幅加快 LLM 工具调用速度

研究人员开发了 OoO-Spec，一种加速大型语言模型 (LLM) 工具调用的新方法。该技术利用一个较小的 Qwen3-0.6B 模型作为辅助，并行预测函数选择和参数值，与传统的逐令牌生成相比，显著加快了过程。OoO-Spec 在自回归解码方面实现了高达 5.34 倍的速度提升，并且优于 ToolSpec 等现有方法，证明了其在各种 LLM 目标和基准测试中的有效性。 AI

影响 通过实现函数调用和参数的并行处理，加速了工具使用应用程序的 LLM 推理速度。

排序理由 该集群是一篇详细介绍 LLM 工具调用新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• Llama
• LLMs
• OoO-Spec
• Qwen2.5
• Qwen2.5-32B
• Qwen3
• Qwen3-0.6B
• Qwen3-14B
• Qwen3-32B
• Qwen3-4B
• Qwen3-8B
• ToolSpec

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →