两篇研究论文介绍了通过采用投机执行来加速代理式大型语言模型（LLM）推理速度的新颖方法。第一篇论文SPORK利用LLM本身的轻量级探针来预测即将到来的工具调用，从而实现重叠执行并减少空闲时间。第二篇论文SpecEyes提出了一个类似的投机规划框架，使用一个较小的、无工具的MLLM来预测执行轨迹，从而在不损失准确性的情况下提前终止昂贵的工具链。这两种方法都旨在显著降低复杂代理式任务的延迟并提高吞吐量。 AI
影响 这些投机执行技术可以显著降低复杂代理式LLM任务的延迟，从而实现更具响应性和效率的AI应用程序。
排序理由 两篇提出新颖LLM推理加速方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.03333v1 Announce Type: cross Abstract: LLM agents are becoming a common interface for research, coding, and question answering, yet their Thought-Action-Observation loop is often serial: the model reasons, emits a tool call, then idles the GPU until the result returns.…
arXiv:2603.23483v2 Announce Type: replace-cross Abstract: Agentic multimodal large language models (MLLMs) (e.g., OpenAI o3 and Gemini Agentic Vision) achieve remarkable reasoning capabilities through iterative visual tool invocation. However, the cascaded perception, reasoning, …