Smallest Volume First

新的SVF算法通过考虑几何内存增长来优化LLM服务

研究人员开发了一种新的几何感知在线调度算法，称为最小体积优先（SVF）及其高效变体1位SVF，以优化大型语言模型（LLM）服务。该方法通过考虑LLM推理动态的二维时空几何增长，解决了传统以时间为中心的调度启发式方法的局限性。理论分析表明SVF提高了竞争比，并将其集成到vLLM与Llama-3.1模型中的实际应用证明了延迟的显著降低和竞争性吞吐量的提升。