WAN 2.1
PulseAugur coverage of WAN 2.1 — every cluster mentioning WAN 2.1 across labs, papers, and developer communities, ranked by signal.
- 2026-06-27 product_launch Alibaba's Wan team released Wan 2.1, an open-source video generation model suite. 来源
9 天有情绪数据
-
NVIDIA 和 Hugging Face 简化扩散模型微调
NVIDIA 和 Hugging Face 已合作将 NVIDIA 的 NeMo Automodel 库与 Hugging Face 的 🤗 Diffusers 库集成。此次集成允许直接从 Hugging Face Hub 高效、大规模地微调扩散模型,包括文本到图像和文本到视频模型。该系统支持各种并行策略和参数高效微调方法(如 LoRA),使用户无需进行检查点转换即可进行训练,并且只需最少的代码更改。
-
Krea 2 VAE 比较:用户测试四种图像生成模型
一位 Reddit 用户对 Krea 2 的四种不同的变分自编码器 (VAE) 进行了比较,Krea 2 可能是与图像生成相关的工具。测试的 VAE 包括 Qwen Image、WAN 2.1、Krea 2 HD 和 Krea 2 Real。用户发现 Qwen 和 WAN VAE 之间的差异很小,WAN 提供了略微更清晰的细节。Krea HD 增强了图像的“弹出感”,但丢失了阴影细节,而 Krea 2 Real 则因其微妙的皮肤细节但…
-
ACID方法通过动态缓存加速视频生成
研究人员开发了ACID,一种新颖的自适应缓存方法,旨在加速扩散模型的视频生成。与使用固定缓存阈值的现有方法不同,ACID根据漂移信号的变化率动态调整此阈值。这种方法允许在不太关键的去噪步骤中进行更积极的缓存,同时在关键步骤中保持高质量。在与流行的缓存技术和开源视频模型进行测试时,ACID在视觉质量几乎没有下降的情况下,展示了比基线方法显著的速度提升。
-
Wan Ai 发布 Wan-Dancer 用于生成长时舞蹈视频
Wan Ai 发布了 Wan-Dancer,这是一种能够从音乐生成长时、高质量舞蹈视频的新方法。该框架据称打破了传统的时长限制,能够生成超过一分钟、具有强大时间连续性的稳定 720p/30fps 视频。该模型可在 Hugging Face 和 GitHub 上获取,实验证明其在生成有节奏且稳定的舞蹈序列方面优于现有方法。
-
新研究精炼扩散模型噪声以更好地控制视频生成
两篇新研究论文提出了通过操纵初始噪声输入来提高基于扩散的视频生成可控性的新方法。第一篇论文 WINRO 专注于文本到运动生成,通过检索和精炼承载潜在语义结构的“获胜噪声票据”,在不重新训练基础模型的情况下增强文本-运动对齐。第二篇论文 UniCaMo 通过构建共享的 3D 接地运动一致噪声空间来解决可控视频生成问题,通过噪声变形和球形采样实现对对象和相机运动的同时控制,并通过轻量级 LoRA 微调实现最先进的结果。
-
CineMobile 实现移动端电影级视频生成,速度提升 40 倍
研究人员开发了 CineMobile,一种新颖的移动端图像到视频生成方法,专注于电影级运动效果。该系统采用蒸馏引导的剪枝策略创建紧凑模型,通过扩散蒸馏和强化学习优化为 4 步生成器。通过混合训练后量化进一步压缩,模型大小减小到 1 GB 以下,从而能够在移动平台上高效生成。
-
LTX-2.3 文本到视频模型在汽车内饰真实感方面遇到困难
用户报告称,LTX-2.3 文本到视频模型在准确描绘汽车内饰和驾驶员交互方面存在困难。与 Wan 2.1/2.2 等早期版本相比,LTX-2.3 对汽车内饰组件(如脚部空间、踏板和方向盘)的理解似乎有所减弱。这种限制使得生成驾驶员与汽车控制装置自然交互的逼真驾驶场景变得困难,常常导致出现脚踢空处等不合逻辑的动作。
-
OrbitQuant 实现扩散 Transformer 的数据无关量化
研究人员开发了 OrbitQuant,一种用于扩散 Transformer (DiTs) 的新型训练后量化方法。该技术通过在归一化、旋转基中进行量化来实现高效推理,无需在不同的时间步、提示或模态之间进行重新校准。OrbitQuant 在 FLUX.1、Z-Image-Turbo、Wan 2.1 和 CogVideoX 等图像和视频生成模型的低比特设置下实现了最先进的性能,甚至在 2 位权重下也能实现可用的生成质量。
-
阿里巴巴发布开源视频生成套件 Wan 2.1
阿里巴巴的 Wan 团队发布了 Wan 2.1,这是一个开源视频生成模型套件,旨在让高质量视频生成更加易于获取。该套件包括文本到视频、图像到视频和视频编辑功能,其参数大小针对高端和消费级 GPU 进行了优化。Wan 2.1 采用了一种 Diffusion Transformer 架构,并配备了一种新颖的视频变分自编码器,该编码器可保持时间因果关系以减少闪烁伪影,并支持中文和英文文本提示。
-
新框架评估AI视频生成在物理上的合理性 · 跟踪3个来源
研究人员开发了一个名为Physics Question Scene Graph (PQSG) 的新评估框架,用于评估AI模型生成的视频在物理上的合理性。PQSG采用基于分层问题的方法,利用视觉语言模型识别生成内容中违反物理定律的地方。该框架使用包含人类标注的FinePhyEval数据集进行了验证,并证明与人类判断的相关性高于以往的方法。研究还发现,PQSG在物理真实性方面将Sora 2和Veo 3等闭源模型排在Wan 2.1之前。
-
使用AI工具制作的艾尔登法环粉丝预告片
一位Reddit用户分享了一个为游戏艾尔登法环制作的粉丝电影预告片,该预告片是使用AI工具制作的。预告片是通过将游戏截图通过包括Flux Klein和Wan 2.1/2.2,以及LTX 2.3在内的各种AI模型进行处理而生成的。
-
ReCache 优化扩散模型缓存以改善图像生成
研究人员开发了 ReCache,一种用于优化扩散模型缓存计划的新颖方法,以提高图像和视频生成的效率。该技术使用策略梯度来学习重新计算计划,在指定的计算预算内最大化生成质量,而无需标记数据。ReCache 在 FLUX 和 Wan 2.1 等基准测试中,相比现有方法显著降低了 LPIPS 并提高了 VBench 分数。
-
用户比较图像生成模型的 62 种采样器和 16 种调度器
一位用户对 Z-Image Turbo 和 WAN 2.1 图像生成模型进行了广泛的采样器和调度器比较测试。结果以彩色编码表格的形式呈现,显示了不同配置下的性能差异。该用户旨在帮助他人避免寻找最佳设置的试错过程。
-
新方法提升视频扩散模型的效率和质量
研究人员正在开发新方法来提高视频扩散模型的效率和质量。几篇论文介绍了优化注意力机制的技术,例如稀疏注意力(LVSA、Veda)和线性注意力(ARL2),以降低计算成本并实现更长的视频生成。其他方法侧重于微调和偏好优化,例如用于时空区域对齐的LocalDPO和通过矢量化时间步长适应来实现时间控制的Pusa V1.0。此外,Q-ARVD解决了自回归视频扩散模型特有的量化挑战,而Bernini则统一了大型语言模型和扩散模型以实现语义规划和渲染。