AsymSpec

AsymSpec框架通过非对称解码提升Agentic LLM效率

研究人员推出了一种新颖的非对称推测解码框架AsymSpec，旨在提高Agentic大型语言模型（LLM）的效率。该方法通过允许一个轻量级起草器处理完整上下文，而一个更大的验证器处理压缩视图，从而解决了准确性-推理成本的权衡问题。AsymSpec使用对比logit融合和感知差异的门控机制来保持准确性和稳定性，实现了显著的吞吐量提升和计算成本降低。