PulseAugur
中
实时 19:28:25
English(EN) AutoGen's hidden token tax: why a 3-agent chat costs 15 what you expect

AutoGen 的默认内存模型导致意外的 15 倍代币成本

作者 PulseAugur 编辑部 · [1 个来源] ·

来自微软的 AutoGen 多代理框架，虽然在协调代理协作方面非常有效，但其默认内存模型存在隐藏成本。默认情况下，对话中的每个代理都会维护一个无界上下文，用于存储交换的每条消息。这意味着随着对话的进行，每个代理的上下文都会增长，导致代币使用量相对于回合数呈二次方增长。对于典型的三代理聊天，这可能导致代币成本远高于预期，并随着总回合数的平方而扩展。 AI

影响 使用 AutoGen 的开发人员应注意其默认上下文管理，以避免意外的高代币成本。

排序理由 对 AI 框架内特定组件成本效率低下的分析。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

AutoGen 的默认内存模型导致意外的 15 倍代币成本

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · wartzar-bee ·

    AutoGen's hidden token tax: why a 3-agent chat costs 15 what you expect

    <h1> AutoGen's hidden token tax: why a 3-agent chat costs 15× what you expect </h1> <p><em>Cost-audit series, episode 2. This series began with <a href="https://dev.to/wartzarbee/i-put-an-ai-agent-on-a-timer-overnight-it-burned-136m-tokens-doing-almost-nothing-2ae2">an AI agent t…

相关实体

相关话题