temp gamil com

LLM 代理需要预算合同来管理工具使用和成本

与简单的演示不同，LLM 代理在生产环境中的性能可能会受到未受管理的资源消耗的阻碍。为了解决这个问题，提出了一种“预算”系统，将工具调用视为一种合同，对时间和尝试次数以及估计成本设定了明确的限制。此合同应由工具适配器管理，而不是由 LLM 本身管理，从而确保代理在可见的约束条件下进行任务推理。这种方法有助于防止延迟增加、因重试导致的隐藏故障以及成本归属不明确等问题。