Lunary Love

LLM 可观测性工具跟踪 token、成本和护栏

调试缓慢或昂贵的 LLM 调用需要专门的可观测性工具，超越标准的 APM 指标。需要监控的关键因素包括 token 数量、每个模型的成本、护栏开销以及详细的提示级信息。跟踪应包含每次跳转的输入/输出 token、成本和延迟，最好通过 OpenTelemetry 输入到 Langfuse 或 SigNoz 等现有平台。护栏性能，如阻止率和增加的延迟，也值得单独跟踪以管理运营费用。