PulseAugur
中
实时 18:55:38
English(EN) Kaleido: Algorithm-Hardware Co-Design for Video Diffusion Transformers by Exploiting Latent Space Correlations

Kaleido 通过新颖的协同设计加速视频扩散 Transformer · 跟踪 2 个来源

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了 Kaleido，一种新颖的算法-硬件协同设计方法，用于加速视频扩散 Transformer (vDiTs)。该方法利用 vDiTs 潜在空间中的时空相关性，而 vDiTs 由于其自注意力机制而计算量巨大。Kaleido 引入了一种逐通道复用算法，可在保持高生成质量的同时减少冗余计算，实现了超过 17 dB 的提升。相关的硬件加速器设计有可重构处理单元和专用数据调度器，以有效地处理算法的稀疏性和数据访问模式。评估表明，与现有的 vDiT 模型最先进的加速器相比，Kaleido 可提供高达 5.9 倍的速度提升和 16.0 倍的能效节省。 AI

影响 这种协同设计方法可以显著降低生成高质量视频的计算成本，从而可能加速先进视频生成模型的采用。

排序理由 该集群描述了一篇研究论文，详细介绍了用于加速视频扩散 Transformer 的新算法-硬件协同设计。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

Kaleido 通过新颖的协同设计加速视频扩散 Transformer · 跟踪 2 个来源

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Wenxuan Miao, Haosong Liu, Weiming Hu, Zihan Liu, Aiyue Chen, Jianlin Yu, Yiwu Yao, Yiming Gan, Jieru Zhao, Jingwen Leng, Minyi Guo, Yu Feng ·

    Kaleido：通过利用潜在空间相关性进行视频扩散 Transformer 的算法-硬件协同设计

    arXiv:2607.13770v1 Announce Type: cross Abstract: Video diffusion transformers (vDiTs) generate high quality video but introduce extremely high compute cost due to the long diffusion timesteps and self attention computation. As diffusion timesteps are reduced, the computation cos…

  2. arXiv cs.AI TIER_1 English(EN) · Yu Feng ·

    Kaleido：利用潜在空间相关性进行视频扩散 Transformer 的算法-硬件协同设计

    Video diffusion transformers (vDiTs) generate high quality video but introduce extremely high compute cost due to the long diffusion timesteps and self attention computation. As diffusion timesteps are reduced, the computation cost of self attention becomes the dominant bottlenec…

相关实体

相关话题