English(EN) Inference Auctions

新的推理拍卖系统可高效分配LLM API计算资源

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-01 04:00

研究人员开发了一种新颖的推理拍卖系统，旨在高效分配LLM API请求有限的计算能力。该拍卖允许用户竞价以获得更快的服务，通过适应用户对延迟的不同容忍度，解决了当前固定价格层级的局限性。该系统旨在最大化经济效率和用户效用，甚至包含一个自动竞价代理，可在指定预算内动态调整出价。实验表明，这种拍卖方法与SGLang推理服务框架集成后，在保持缓存利用率和延迟的同时，提高了系统福利。 AI

影响可能导致AI推理资源更高效、更具成本效益的使用，尤其是在高需求下。

排序理由这是一篇研究论文，详细介绍了一种用于分配LLM API计算资源的新系统。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 22 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 这是一篇研究论文，详细介绍了一种用于分配LLM API计算资源的新系统。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Keegan Harris, Siddharth Prasad, Asher Trockman, Nika Haghtalab, Michael I. Jordan · 2026-10-01 04:00

推理拍卖

arXiv:2609.40070v1 Announce Type: cross Abstract: When inference demand exceeds available compute capacity, model providers must decide which requests should be served first. Users have different tolerances for delay from an LLM API, but current priority pricing schemes compress …

本文如何被排名

报道来源 [1]

推理拍卖

相关实体

相关话题