ModelAttempt

Node.js LLM 计费：模型归因和质量指标的 5 个字段

本文详细介绍了一种在 Node.js 服务中跟踪大型语言模型 (LLM) 用量的方法，以确保准确的计费和质量评估。它提出了一种仅追加的事件日志记录系统，该系统记录每次模型尝试的关键标识符，如请求、货运、供应商、模型和结果。该系统强调了稳定的尝试 ID 的重要性，以避免重复计算重试次数，并准确地核对 token 用量，特别是对于需要实时监控以防止服务中断的预付费账户。