smolagents AI 框架以其小型代码库和优雅的设计而闻名，但它有一个隐藏的成本：它会在每次推理步骤中重放其整个内存。这会导致二次方代币账单，意味着一个需要 'n' 步的任务大约花费 n²/2 个代币，而不是线性的 'n' 个代币。这种低效率对于涉及大型工具输出的任务尤其昂贵，因为这些输出会在每个后续步骤中被重新发送。虽然 smolagents 会跟踪代币使用情况，但成本在审查之前就已经产生，尽管通过一个涉及步骤回调的简单修复可以缓解这个问题。 AI
影响 突出了代理框架中一个显著的成本低效率，这可能会影响开发和部署成本。
排序理由 该条目详细说明了现有 AI 框架中的一个特定技术低效率和潜在的修复方法，而不是新的发布或重大的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
