SpecAgent

SpecAgent协议在保持质量的同时将代理延迟和内存使用量减半

研究人员推出了一种名为SpecAgent的新型大型语言模型代理协议，通过让一个较小的模型起草工具使用步骤，然后由一个较大的模型进行验证来提高效率。这种方法通过将大型模型的逐个自动回归解码替换为一次并行预填充验证，从而降低了延迟和内存流量。在 $\tau^2$-Bench、AutomationBench和VitaBench等基准测试中，SpecAgent在保持高成功率的同时显著降低了资源使用量，并恢复了与仅使用强大模型相比的质量差距的很大一部分。