RoundRobinGroupChat

AutoGen 的默认内存模型导致 token 成本比预期高出 15 倍

对 Microsoft 的 AutoGen 框架的最新分析揭示了其默认多代理聊天配置存在显著的隐藏成本。该框架的默认内存模型 UnboundedChatCompletionContext 导致每个代理保留整个对话历史。随着对话轮次的增加，这会导致 token 使用量呈二次方增长，3 个代理的聊天成本可能比最初预期的要高出 15 倍。问题源于代理将所有传入消息附加到其各自的上下文中，而这些上下文默认情况下没有上限。