PulseAugur
中
实时 04:10:02
English(EN) AutoGen's hidden token tax: why a 3-agent chat costs 15 what you expect

AutoGen 的默认内存模型导致 token 成本比预期高出 15 倍

作者 PulseAugur 编辑部 · [1 个来源] ·

对 Microsoft 的 AutoGen 框架的最新分析揭示了其默认多代理聊天配置存在显著的隐藏成本。该框架的默认内存模型 UnboundedChatCompletionContext 导致每个代理保留整个对话历史。随着对话轮次的增加，这会导致 token 使用量呈二次方增长，3 个代理的聊天成本可能比最初预期的要高出 15 倍。问题源于代理将所有传入消息附加到其各自的上下文中，而这些上下文默认情况下没有上限。 AI

影响 使用 AutoGen 等多代理框架的开发者应注意由于默认内存配置可能导致的成本超支。

排序理由 对现有框架内特定功能成本影响的分析。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

AutoGen 的默认内存模型导致 token 成本比预期高出 15 倍

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · wartzar-bee ·

    AutoGen 的隐藏代币税：为什么一个 3 代理聊天会花费你预期的 15 倍

    <h1> AutoGen's hidden token tax: why a 3-agent chat costs 15× what you expect </h1> <p><em>Cost-audit series, episode 2. This series began with <a href="https://dev.to/wartzarbee/i-put-an-ai-agent-on-a-timer-overnight-it-burned-136m-tokens-doing-almost-nothing-2ae2">an AI agent t…

相关实体

相关话题