Intercom 的首席人工智能官 Fergal Reid 概述了从基于 API 的 LLM 服务转向自托管开源模型（open-weight models）的成本效益分析。他认为，对于高流量、重复性任务且具有明确输入输出合同的任务，例如查询规范化（query canonicalization），自托管可以显著降低成本。Reid 估计，通过微调 Qwen 模型，Intercom 在一项此类任务的推理成本上每月节省了数十万美元，但这需要工程人员和 GPU 资源的大幅增加。他强调，自托管的决定应基于一个全面的电子表格，该表格不仅包括推理成本，还包括训练后、运营和人员费用，以及超出标准基准的严格内部和生产测试。 AI
影响 为组织评估自托管 LLM 相对于使用 API 服务的财务可行性提供了一个框架。
排序理由 行业高管对 LLM 部署策略成本效益分析的评论。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
