chat completions
PulseAugur coverage of chat completions — every cluster mentioning chat completions across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
LLM API：文本分类优先考虑 JSON 可靠性和成本
多篇文章讨论了将 LLM API 用于文本分类和标记任务的实际考虑因素，强调可靠性和成本效益而非原始准确性。关键建议包括优先选择能够持续输出有效 JSON 的模型，使用封闭标签集以避免歧义，并实施强大的错误处理和重试机制。文章还强调了批量处理大型数据集的重要性以及进行每个租户成本归属以有效管理费用的必要性。
-
Node.js LLM 系统通过每租户调度和 JSON Schema 管理媒体工单
本文详细介绍了一个使用 LLM 处理媒体支持工单的系统，强调每租户调度和严格的 JSON Schema 验证用于分类标签。它提出了一种基于 Node.js 的接入处理程序，该程序在入队前使用租户 ID 和版本信息对工单进行规范化。调度策略可以是全局 FIFO、轮询或加权，具体取决于租户隔离需求和容量承诺。LLM 的输出必须遵守定义的 JSON Schema 进行路由，未知类别将被拒绝，以确保准确分类。
-
LLM 使用严格的 JSON Schema 进行可靠的支持票证分类
开发人员正在使用带有严格 JSON Schema 的大型语言模型 (LLM) 来分类支持票证，确保输出结构化且可靠。这种方法包括为类别、标签和紧急程度等票证属性定义精确的 Schema，LLM 必须遵守。该过程包括仔细的模型选择、成本估算以及针对标记数据的验证，以保持准确性并防止错误分类。此方法旨在使 LLM 功能专注于分类，而传统的代码处理路由和策略执行，从而确保系统稳定且可预测。
-
开发者分享使用 JSON Schema 进行文本审核的 LLM 方法
一位开发者分享了一种使用聊天补全和 JSON Schema 标记不安全文本的方法，在没有专用审核端点时特别有用。该方法包括构建严格的 JSON Schema 来定义输出类别，并使用系统提示来定义策略。开发者发现将标签合并为六个类别可以提高模型的_一致性_，并且由于输入和输出长度较短，使用聊天模型执行此任务的_经济效益_也很有利。
-
ChatGPT API 与聊天界面：理解自动化差异
ChatGPT API 提供了一个与标准聊天界面不同的程序化接口，具有单独的计费和不同的技术合同。聊天界面用于直接用户交互，而 API，特别是通过“助手”功能，则用于将 AI 功能嵌入到外部应用程序和服务中。开发人员在构建产品时应考虑 API，而不仅仅是自动化重复性问题，因为 API 需要更结构化的方法，并明确的角色和对话历史管理。
-
开发者通过记录 token 而非仅记录请求来追踪大语言模型成本
一位开发者发现，尽管用户流量稳定，但其大语言模型（LLM）账单却意外增加。根本原因是请求计数与提供商基于 token 的计费模式之间存在差异。为解决此问题，该开发者实施了一个详细的日志记录系统，该系统按操作追踪输入 token、输出 token 和其他使用指标，从而提高了成本可见性。