service level objective

TetriServe系统提升DiT模型服务效率

研究人员开发了TetriServe，一个旨在高效服务扩散Transformer（DiT）模型的新颖系统，DiT模型在图像生成方面计算量巨大。传统的服务方法难以应对混合工作负载和严格的截止日期，导致GPU利用率低下和未达到服务水平目标（SLO）。TetriServe引入了步级序列并行和基于轮次的调度机制，以根据单个请求的截止日期动态调整并行度，从而提高SLO达成率和GPU利用率。