AI That Ships

Node.js LLM 调用在用户断开连接后继续，产生费用

使用大型语言模型 (LLM) 的应用程序开发者需要意识到，即使在用户断开连接后，服务器端进程仍可能继续产生费用。标准的 Node.js 处理程序不会在用户断开连接时自动取消 LLM 调用或工具执行。为防止不必要的费用，开发者必须将 AbortSignal 显式传递给每一次 LLM 交互和工具调用，确保这些操作在客户端断开连接时被中止。这需要仔细处理连接事件，并利用 Node.js 的 AbortSignal 功能来管理正在进行的进程。