本文讨论了将大型语言模型 (LLM) 集成到客户支持工单分类系统中的实际考虑因素，强调了成本归属和供应商管理而非原始模型性能。作者建议使用 OpenAI 兼容的 LLM API 网关，例如 OpenRouter 或 Infrai，来管理成本和简化供应商切换。关键要求包括将每个 LLM 调用与租户 ID 和工单 ID 相关联，确保幂等性以防止重复收费，并维护不可变的成本和供应商数据以进行月度对账。该系统还应优雅地处理故障，如果 LLM 响应过慢或无效，则将工单路由给人工代理，同时仍记录尝试的成本。 AI
影响 为企业应用程序中的 LLM 成本和供应商关系管理提供了一个框架，优先考虑归属和灵活性。
排序理由 文章讨论了在商业背景下使用 LLM 的实际实施细节和成本管理策略，而不是发布新模型或研究。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
