PulseAugur
中
实时 10:13:59
English(EN) Task-to-Model Optimization for Enterprise LLM Coding Assistants: A Data-Driven Framework for Cost-Optimal Routing

新框架优化 LLM 编码助手以提高成本效益

作者 PulseAugur 编辑部 · [1 个来源] ·

提出了一种新的数据驱动框架，称为任务到模型优化 (T2MO)，以降低企业 AI 编码助手的成本。该方法通过按难度对开发人员任务进行分类，并将它们路由到满足质量和延迟要求的成本效益最高的模型来优化模型选择。该框架旨在最大限度地降低每个已完成任务的成本，并明确考虑重试和升级，这被证明比简单的令牌成本最小化更有效。 AI

影响 通过优化模型选择，该框架可以显著降低部署 LLM 编码助手的企业的运营成本。

排序理由 该项目是一篇研究论文，详细介绍了一种优化 LLM 编码助手的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新框架优化 LLM 编码助手以提高成本效益

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Srinivasan Manoharan, Junhua Zhao, Fangbo Tu, Haifeng Wu, Jian Wan, Maliah Rajan M, Ashwin Hegde, Mithun Sasidharan, Kalyan Chakravarthi Podamekala ·

    面向企业LLM编码助手的任务到模型优化：一个数据驱动的成本最优路由框架

    arXiv:2608.08528v1 Announce Type: new Abstract: Enterprise AI coding assistants incur substantial inference spend, and naive token-cost minimization often fails to reduce end-to-end cost once retries, escalations, and developer wait time are included. We present Task-to-Model Opt…

相关实体

相关话题