Wan-2.2
PulseAugur coverage of Wan-2.2 — every cluster mentioning Wan-2.2 across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
Wan 2.2 audio integration to become a standard feature
A user has successfully created and shared a workflow for adding audio to Wan 2.2 videos. This suggests a growing demand and capability for multimodal video generation with Wan 2.2, potentially leading to more integrated audio-visual features in future releases or community-driven tools.
Wan 2.2 integrated into NexusBTA workflows
NexusBTA's latest UI update (v0.2.22) explicitly includes updated workflows for WAN 2.2, alongside other models like LTX 2.3. This indicates that WAN 2.2 is being actively incorporated into broader workflow management tools, suggesting its utility beyond standalone use.
Wan 2.2 serves as a foundational architecture for new models
ByteDance's new Bernini model, designed for video generation and editing, is built upon the Wan-2.2 architecture. This highlights Wan 2.2's role as a foundational technology, with its architecture being leveraged and extended for more advanced and unified video AI solutions.
-
AI 与 3D 动画融合的真人实拍混合测试
一位用户创建了一个混合测试,将真人实拍素材与 3D 动画和 AI 生成元素相结合。该项目涉及在 Flame 中进行合成,利用 ComfyUI 和 AI 工具包,并修改基于 MDMZ Wan 2.2 的工作流程。使用 Blender 中设计的 CG 动物静态图像训练了自定义 LoRA,然后将其映射到真人实拍面部素材上。创作者对社区在实现这种混合视觉效果方面的指导表示感谢。
-
开源 Remiqora Video 0.3 可根据文本或歌曲生成影片
Remiqora Video,一个免费且开源的 Windows 视频工作室,已发布 0.3 版本。此更新允许用户从单个文本提示或歌曲生成完整的影片。该软件集成了 LTX 2.3/2.5 和 WAN 2.2 等多种开源模型,以自动化从剧本编写、场景生成到唇形同步和最终蒙太克的视频创建过程。0.3 版本还引入了新的视觉风格以及创建包含非人类角色的视频的能力。
-
开源 ComfyUI 工具 Higgsfield 和 H3 Continuity Studio 发布
两个开源项目 Higgsfield.ai 和 H3 Continuity Studio 已在 ComfyUI 上发布,为本地 AI 驱动的视频和图像生成提供了增强功能。Higgsfield.ai 是一个 CreatorOS Studio,允许用户训练角色、修复旧素材,并使用 FLUX 3 Klein 等集成工具生成短片。H3 Continuity Studio 专注于在视频片段中保持场景一致性,使用户能够生成记住早期时刻细节和摄像机角…
-
用户寻求用于同步角色动画视图的图像到视频模型
一位Reddit用户正在寻求关于使用图像到视频模型生成角色动画同步正面和侧面视图的建议。他正在为视频游戏角色动画开发一个流程,需要一个分屏视频,其中两个视图逐帧显示完全相同的动作。用户已经尝试过Google Flow和Wan 2.2等模型,并且正在测试SV4D 2.0,但正在寻找能够可靠地在多个固定摄像机角度生成同步动作的模型或工作流程的建议。
-
Kyutai 发布 CADRE 视频自编码器,用于更快的交互式世界模型
Kyutai 推出了 CADRE,一套旨在降低交互式世界模型延迟的新型视频自编码器。这些自编码器通过更有效地处理视频帧来改进现有模型,在单个 NVIDIA H100 GPU 上实现了低于 230 毫秒的响应时间。CADRE 在图像和运动质量基准测试中表现强劲,在 Fréchet Video Distance (FVD) 和 Action Following Rate (ARR) 等指标上优于其他几个模型,尽管在机器人操作等特定场景中存在局限性。
-
MBZUAI发布PAN 2世界模型用于模拟推理
MBZUAI的基金会模型研究所(IFM)发布了PAN 2,这是一个通用的世界模型,能够模拟对动作响应的世界变化。该模型通过将长达20秒的视频作为动作结果进行预测,来支持模拟推理。PAN 2结合了大型语言模型的概念推理和潜在扩散模型的感知推理,采用了29B参数的MMDiT架构。
-
SiliconFlow API 提供统一的开源大语言模型访问接口
SiliconFlow 提供了一个 API,可通过兼容 OpenAI 的接口访问各种开源大语言模型 (LLM)。该服务允许用户使用单个 API 密钥进行连接,并提供按量付费的定价模式,附带初始免费积分。重要的是要使用 API 的模型列表端点,而不是文档,以获取最新的模型可用性,因为文档可能会滞后于弃用和新版本发布。SiliconFlow 还负责处理已淘汰模型的流量迁移,自动将请求重定向到更新的版本。
-
新框架支持跨视角合成的基础模型
研究人员开发了Exo2EgoSyn,一个新颖的框架,可将WAN 2.2等基础视频生成模型适配用于外视角到内视角(Exo2Ego)的跨视角视频合成。该系统包含三个关键模块:用于对齐潜在空间的Ego-Exo View Alignment (EgoExo-Align),用于聚合多视角外视角视频的Multi-view Exocentric Video Conditioning (MultiExoCon),以及用于整合相对相机姿态信息的Pose…
-
Minimax Studio 推出具有 ComfyUI 后端的本地 AI 视频制作应用程序
Minimax Studio 是一款专为本地 AI 视频制作设计的新桌面应用程序,集成了 ComfyUI 作为其后端。该工具旨在通过结合角色和服装参考系统、场景管理和提示工具来简化电影制作流程。它提供了故事板和圣经系统,用于一致的角色和环境参考;一键式向导,用于自动化规划和渲染;以及导演聊天代理,用于应用内编辑和场景重写。
-
MiniMax H3 因其开放权重视频生成能力而受到赞扬
Reddit 的 r/StableDiffusion 社区的一位用户在使用 MiniMax H3 进行视频生成时取得了成功,称赞其开放权重性质和多模态能力。该用户将其与之前的 Wan-2.2 等工具进行了对比,认为后者在质量和一致性方面有所欠缺。能够直接向 MiniMax H3 提供参考图像和概念被认为是重大进展,减少了对专用 LoRA 的需求,并简化了创作过程。
-
AI模型生成怪异且不切实际的成人声音,尽管提示已优化
一位Reddit用户在使用AI模型时遇到了有问题的、不切实际的音频输出,特别提到了与成人主题场景相关的问题。尽管尝试通过删除与液体和声音相关的描述性词语来优化提示,但AI仍然生成怪异的声音,如咂嘴声或滑笛声。用户尝试了不同的模型和LoRA,但发现问题依然存在,这表明它可能是基础模型固有的。
-
AI视频模型:开源替代品每年涌现
用户注意到AI视频模型开发中存在一个反复出现的模式,即开源替代品大约在专有模型发布一年后出现。这种趋势在Luma的闭源模型之后出现了开源的Wan 2.2,以及最近OpenAI的Sora 2之前出现了MiniMax H3。用户还回忆起DALL-E 2和Flux 1之间也存在类似的间隔一年,这凸显了该领域创新的快速步伐。
-
StableDiffusion 用户探索使用 Wan-2.2 精炼器来改进 Minimax 输出
一位 Reddit 用户正在尝试使用 Wan-2.2 作为精炼器来增强 Minimax 的输出,这一过程似乎可以减少模糊的视觉效果并支持自定义 LoRA。该用户注意到生成运动中存在帧率不一致的潜在问题,并质疑 RIFE 或其他解决方案是否是最佳选择。他们正在寻求关于优化此工作流程的建议。
-
用户为 Stable Diffusion 放弃 WAN 2.2 转而使用 Minimax
一位 Reddit 用户已从使用 Stable Diffusion 的 WAN 2.2 模型切换到 Minimax,理由是 Minimax 的性能更优越。该用户强调,Minimax 所需的显存更少,生成速度更快,并且在无需额外 LoRA 的情况下就能产生更好的视频输出,而之前使用 WAN 2.2 时则需要额外的 LoRA。
-
AI 生成的“Cyber Slayer”预告片模仿 1995 年动作电影美学
一位视频创作者使用 MiniMax H3、Wan 2.2 和 ComfyUI 等多种 AI 工具制作了一个名为“Cyber Slayer”的 1995 年风格动作电影预告片。该项目最初是一个个人纪念项目,但随着创作过程中 AI 技术的进步,它演变成了一个更宏大的项目。创作者专注于实现连贯的 90 年代中期美学,从《黑客》(Hackers)和《割草人》(The Lawnmower Man)等电影中汲取灵感,并精心训练 LoRAs 以获得…
-
新的KVAE分词器旨在推进多模态生成模型
研究人员推出了一系列名为KVAE的新型分词器,专为多模态生成模型设计。这些分词器,包括KVAE-Audio、KVAE-3D和KVAE-2D,专门为跨音频、视频和图像数据的文本条件生成任务而构建。该论文详细介绍了这些模型的开发、训练和消融研究,并与社区分享了代码和训练细节。评估表明,KVAE分词器在各种重建和生成指标上均达到或超过了现有开源替代品的性能。
-
TenStrip/10Eros-Max 模型集成了 LTX 2.3、Wan-2.2 和 Krea 2 到 MiniMax H3 中
TenStrip/10Eros-Max 模型是基于 MiniMax 的 H3 基础模型构建的实验性发布版本。它整合了来自两个视频扩散模型 LTX 2.3 和 Wan-2.2,以及一个图像扩散模型 Krea 2 的学习模式。这些迁移是通过使用正交投影将新的权重模式添加到 H3 的 Transformer 架构中实现的,主要影响注意力层和前馈层。这种方法使模型能够采用供体模型的审美和运动特征,同时保留 H3 的核心视频和音频连贯性能力。
-
H3模型发布有望彻底改变开源AI视频生成
一位Reddit用户对即将发布的H3开源模型表示极度兴奋,并预计它将为写实风格和动漫风格的视频生成树立新标杆。他们称赞了其当前的能力,指出其在“解剖物理学”方面的理解优于WAN 2.2和LTX 2.3等现有模型,并表示将在新模型发布后优先使用。
-
MiniMax H3 R2V在动漫视频生成方面展现出潜力,但存在瑕疵
一位用户测试了MiniMax H3 R2V生成动漫视频的能力,发现其在该特定应用上优于Wan 2.2和LTX 2.3等其他模型。该模型在真实和动漫参考图像方面都表现出强大的人脸一致性,预示着在图像编辑方面的有效潜力。然而,用户注意到生成的视频中存在运动瑕疵和抖动,他们将其归因于潜在的API设置问题或源素材分辨率低,并希望在开源版本发布后能有所改进。
-
用户在LTX 2.3 Stable Diffusion模型质量方面遇到困难
一位Reddit用户在使用LTX 2.3(一个用于Stable Diffusion的模型)时,在获得一致的高质量结果方面遇到了困难。尽管使用了RTX 4060 Ti GPU,并测试了各种LTX工作流程、分辨率和设置,但他们遇到了诸如高分辨率下出现伪影以及相机移动时眼睛位置等细节不一致的问题。用户指出,他们在使用WAN 2.2时更容易获得更好的结果,并正在寻求关于LTX 2.3推荐工作流程、采样器、引导设置或提示技巧的建议。