Inference Auctions

新的推理拍卖系统可高效分配LLM API计算资源

研究人员开发了一种新颖的推理拍卖系统，旨在高效分配LLM API请求有限的计算能力。该拍卖允许用户竞价以获得更快的服务，通过适应用户对延迟的不同容忍度，解决了当前固定价格层级的局限性。该系统旨在最大化经济效率和用户效用，甚至包含一个自动竞价代理，可在指定预算内动态调整出价。实验表明，这种拍卖方法与SGLang推理服务框架集成后，在保持缓存利用率和延迟的同时，提高了系统福利。