MMDiT
PulseAugur coverage of MMDiT — every cluster mentioning MMDiT across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
Krea 2 Identity Edit：发布了基于指令的图像编辑的非官方模型
Krea 2 模型的一个社区微调版本 Krea 2 Identity Edit 已在 Hugging Face 上发布。该非官方模型允许进行基于指令的图像编辑，同时保留主体身份，包括痣和服装等特定细节。它设计用于 ComfyUI-Krea2Edit 节点包，并提供人物重构、局部对象操作和完整图像重塑等功能，尽管在面部几何和多人编辑方面存在已知限制。
-
新研究探讨扩散模型、偏差缓解和强化学习应用 · 跟踪 10 个来源
近期研究探讨了扩散模型的进展，重点关注理论基础、优化技术和偏差缓解。一篇论文介绍了贝叶斯信息受限扩散（BIRD）模型，解释了扩散模型如何通过限制信息来泛化，并确定了记忆与泛化之间的相界。另一项工作 D2PO 使用动态偏好学习优化扩散采样器，提高了感知质量，性能优于基于回归的方法。此外，一种名为 CO-ALIGN 的新方法使用概念图对齐来减少文本到图像模型中的偏差，同时保持生成完整性。其他研究还探讨了扩散采样中的数值稳定性和强化学习中扩…
-
新AI模型UniGP和AccelAes统一图像生成与感知任务
研究人员开发了UniGP，一个通过联合训练扩散Transformer模型来统一可控图像生成和密集预测任务的框架。该方法基于MMDiT，旨在捕捉图像-几何对的联合分布，而无需复杂的特定任务设计。实验表明，UniGP的表现与专用方法相当，并提供互补的优势，增强了生成中的感知细节和结构对齐。另外，AccelAes被提出作为一种无需训练的方法，通过将计算重新分配给具有更高美学相关性的区域来加速扩散Transformer以增强美学效果的图像生成。
-
混合扩散Transformer增强指令引导音频编辑
研究人员开发了一种新颖的混合扩散Transformer架构，用于指令引导音频编辑。这种基于修正流匹配的两阶段方法旨在提高使用自然语言指令修改音频片段的准确性和效率。该系统首先在低分辨率阶段建立粗粒度的语义对齐，然后在高分辨率阶段细化编辑细节，在复杂的编辑任务上表现优于现有方法。
-
阿里巴巴的 Qwen-RobotWorld 通过语言接口统一具身人工智能
阿里巴巴的 Qwen 团队推出了 Qwen-RobotWorld，一个专为具身智能设计的语言条件视频世界模型。该模型利用自然语言作为通用接口，预测包括操作、自动驾驶和导航在内的各种机器人领域的未来视觉轨迹。Qwen-RobotWorld 基于双流扩散 Transformer 和广泛的具身世界知识语料库构建，在多个基准测试中表现强劲，并可应用于合成数据生成、虚拟环境评估和机器人控制。
-
新框架和基准推动视听生成发展
研究人员推出了OmniCustom，一个可以同时从参考图像和音频定制视频身份和音频音色的框架。这个基于DiT的模型使用独立的LoRA模块进行身份和音色控制，并通过对比学习目标进行增强。此外，NAVA框架为联合生成提供了原生的视听对齐，使用一个6.3B参数的模型提高了同步性和音色可控性。另外，LongAV-Compass已被开发为一个基准，用于评估跨越各种条件模态的分钟级视听生成，评估长时间内的连贯性和对齐性。
-
新框架通过知识蒸馏创建轻量化扩散模型
研究人员开发了一个名为 LIFT and PLACE 的新知识蒸馏框架，以创建更高效的扩散模型。该方法通过使用粗到精的对齐策略，解决了学生模型模仿复杂教师模型时遇到的困难。实验表明，该方法在各种扩散模型类型和任务中都有效，即使在显著压缩学生模型的情况下，FID得分也达到了 15.73。
-
新基准测试挑战多模态大语言模型（MLLMs）的空间和功能推理能力
研究人员引入了新的基准测试，用于评估多模态大语言模型（MLLMs）的空间和功能推理能力。这些基准测试旨在超越基本的几何感知，评估结构化空间推理和理解物体在特定情境下的效用等更高级的认知能力。实验表明，当前的多模态大语言模型在整合空间记忆、功能推理和外部知识方面存在困难，这凸显了实现具身智能的重大瓶颈。
-
AttnRouter 通过类别注意力路由增强 MMDiT 上的图像编辑
研究人员开发了 AttnRouter，一种用于 MMDiT 模型上无训练图像编辑的新颖方法。该方法利用 KVInject，一种单次前向注意力操纵，将源图像的键/值投影混合到噪声流中。AttnRouter 通过使用每类路由表将编辑分派到最有效的操作以保留源结构，从而进一步增强了这一点，显著提高了图像质量。
-
OccDirector: 语言引导的4D占用空间中的行为与交互生成
研究人员推出OccDirector，一个新框架，旨在仅凭自然语言指令生成自动驾驶模拟中复杂的4D占用动态。该系统充当“场景导演”，将文本脚本转换为物理上可行的体素运动，而无需预定义的几何条件。OccDirector利用VLM驱动的时空MMDiT和历史前缀锚定策略来维持长期交互的一致性。配套的OccInteract-85k数据集和基于VLM的评估基准促进了此类语言驱动行为编排的训练和评估。