Spork

新方法通过投机执行加速代理式LLM推理 · 跟踪2个来源

两篇研究论文介绍了通过采用投机执行来加速代理式大型语言模型（LLM）推理速度的新颖方法。第一篇论文SPORK利用LLM本身的轻量级探针来预测即将到来的工具调用，从而实现重叠执行并减少空闲时间。第二篇论文SpecEyes提出了一个类似的投机规划框架，使用一个较小的、无工具的MLLM来预测执行轨迹，从而在不损失准确性的情况下提前终止昂贵的工具链。这两种方法都旨在显著降低复杂代理式任务的延迟并提高吞吐量。