一位开发者概述了一种跨各种提供商以编程方式捕获 LLM 聊天响应的方法,区分了直接 API 调用和聊天应用程序中向最终用户显示的响应。对于 API 交互,建议使用 LiteLLM 和 OpenTelemetry 等工具来记录输入、输出和异常。要捕获 ChatGPT 和 Gemini 等应用程序中面向用户的响应,需要采用浏览器自动化方法,因为这些平台不通过标准 API 暴露其特定的模型名称或内部逻辑。提出的解决方案涉及使用标准化的记录模式来存储每次捕获响应的提供商、提示、国家/地区、时间戳、模型、文本、markdown 和来源等详细信息。 AI
影响 为需要记录和比较不同平台上的 LLM 输出的开发者提供了技术解决方案。
排序理由 该条目描述了一种捕获 LLM 响应的技术方法和工具,而不是新的模型发布或重大的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →