两位开发者强调了使用大型语言模型 (LLM) 及其相关工具所带来的显著且常被忽视的成本。一位作者发现,他们的代理的实际 token 使用量远高于提示的 token 计数,这主要是由于系统脚手架和上下文组装,而这些默认情况下是不可见的。另一位开发者发现,MCP 代理中工具的广泛 JSON 模式定义消耗了不成比例的 token,导致成本高昂。两位作者都提出了解决方案,包括修改 API 调用以输出详细的使用数据以及实施模式修剪或压缩技术以减少 token 开销。 AI
影响 开发人员可以通过优化提示工程和工具模式管理来降低 LLM 的运营成本,从而实现更高效的 AI 代理部署。
排序理由 文章讨论了优化 LLM 使用的实际成本节约策略和技术细节,而不是新的发布或重大行业事件。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →