研究人员开发了ReFold,一种新颖的、无需训练即可管理长时程AI智能体上下文的方法。该方法通过移除冗余信息和总结已完成的回合来压缩渲染的上下文,而不会永久丢弃内容。ReFold作为ReAct风格智能体的即插即用层运行,显著降低了代币消耗、KV缓存内存和推理成本。评估表明,它可以在不影响任务成功率的情况下将代币使用量最多降低2.5倍,并将内存使用量减半,同时还能加速推理并减少请求排队延迟。 AI
影响 降低了长时程AI智能体的计算成本并提高了效率,可能支持更复杂和更长的任务。
排序理由 该集群包含一篇详细介绍AI智能体新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →