EcoVideo

EcoVideo 框架优化了 DiT 视频生成在云边协同中的表现

研究人员推出 EcoVideo，一个旨在优化 Diffusion Transformer (DiT) 模型视频生成的新框架，特别是在云边环境中。该系统根据信息密度动态解耦帧，信息密度通过自注意力熵估算。高熵关键帧由基于云的大模型处理，而低熵帧则通过轻量级边缘模型进行运动感知插值重建。EcoVideo 根据可用带宽和计算能力调整其处理方式，在受限的边缘环境中实现了高达 2.9 倍的速度提升，同时保持了质量。