GF-DiT

GF-DiT 通过动态并行优化 Diffusion Transformer 服务

研究人员开发了 GF-DiT，一个新颖的运行时系统，旨在优化 Diffusion Transformers (DiTs) 的服务，DiTs 越来越多地用于图像和视频生成。与使用静态并行性的现有系统不同，GF-DiT 根据工作负载需求和服务目标动态调整 GPU 并行性。这是通过异步执行抽象和称为 group-free collectives 的通信抽象实现的，从而能够有效地在线重新分配 GPU 并减少通信开销。