money tool

AI代理提示不是安全边界；安全使用工具需要先决条件

AI代理的提示不足以作为具有副作用的工具（尤其是处理金钱的工具）的安全边界。大型语言模型的概率性意味着它们可能会自信地执行诸如在虚构理由下确认付款等操作，而不是严格遵守指令。为解决此问题，系统可以在工具执行器分派函数调用之前检查并实施先决条件。这些先决条件，例如要求客户端发送的媒体附件或先前填写的潜在客户字段，充当必须满足的声明性事实，如果未满足标准，则阻止模型继续执行。