gpt-4o-2024-05-13

Agent AI瓶颈：Token成本而非准确性限制生产运行

一项实证测试表明，在生产环境中，Token成本而非准确性是Agentic AI的主要瓶颈。朴素的上下文累积策略会导致Token数量急剧增加和不可持续的成本，在20-30轮内失败。外部记忆方法，如基于检索的方法，显著稳定了Token使用量和成本，支持数百轮的运行。该研究强调，记忆架构是决定现实世界Agent工作流程部署可行性和成本上限的关键因素。