PulseAugur
中
实时 10:40:58
English(EN) GF-DiT: Scheduling Parallelism for Diffusion Transformer Serving

GF-DiT 通过动态并行优化 Diffusion Transformer 服务

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了 GF-DiT，一个新颖的运行时系统，旨在优化 Diffusion Transformers (DiTs) 的服务，DiTs 越来越多地用于图像和视频生成。与使用静态并行性的现有系统不同，GF-DiT 根据工作负载需求和服务目标动态调整 GPU 并行性。这是通过异步执行抽象和称为 group-free collectives 的通信抽象实现的，从而能够有效地在线重新分配 GPU 并减少通信开销。 AI

影响 这项研究可以显著提高 AI 驱动的图像和视频生成服务的效率并降低延迟。

排序理由 该集群描述了一篇关于优化 AI 模型服务的新颖系统的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Minyi Guo ·

    GF-DiT: Scheduling Parallelism for Diffusion Transformer Serving

    Diffusion Transformers (DiTs) have become the dominant architecture for image and video generation, creating growing demand for efficient DiT serving. Existing systems assign each request a fixed parallel configuration throughout its lifetime. However, DiT workloads exhibit subst…

相关实体

相关话题