研究人员开发了 OoO-Spec，一种加速大型语言模型 (LLM) 工具调用的新方法。该技术利用一个较小的 Qwen3-0.6B 模型作为辅助，并行预测函数选择和参数值，与传统的逐令牌生成相比，显著加快了过程。OoO-Spec 在自回归解码方面实现了高达 5.34 倍的速度提升，并且优于 ToolSpec 等现有方法，证明了其在各种 LLM 目标和基准测试中的有效性。 AI
影响 通过实现函数调用和参数的并行处理，加速了工具使用应用程序的 LLM 推理速度。
排序理由 该集群是一篇详细介绍 LLM 工具调用新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- Llama
- LLMs
- OoO-Spec
- Qwen2.5
- Qwen2.5-32B
- Qwen3
- Qwen3-0.6B
- Qwen3-14B
- Qwen3-32B
- Qwen3-4B
- Qwen3-8B
- ToolSpec
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
