MM-DiT
PulseAugur coverage of MM-DiT — every cluster mentioning MM-DiT across labs, papers, and developer communities, ranked by signal.
-
PC-Edit框架通过提示对比区域发现增强图像编辑
研究人员推出PC-Edit，一种新颖的提示对比框架，用于MM-DiT模型的无训练编辑。该方法直接对比源提示和目标提示下的图像-token注意力输出，以识别语义差异，然后利用这些差异来指导源内容的擦除和目标对象的形成。PC-Edit还通过选择性地重用源特征来包含一个机制，以保留不相关的背景内容，与现有方法相比，提高了编辑质量和背景保留能力。
-
人形机器人模型Ψ₀在有限的真实世界数据上有效训练
南加州大学PSI实验室的研究人员开发了一种新的人形机器人基础模型Ψ₀，该模型专注于优化有限的真实世界机器人数据的使用。Ψ₀不依赖海量数据集，而是采用三阶段训练过程：首先，它从人类视频数据中学习通用能力；然后，使用少量真实世界机器人数据对机器人进行控制微调；最后，通过更专业的数据适应特定任务。这种方法旨在通过改进训练方法来克服机器人领域的“数据瓶颈”，尽管使用的机器人操作数据远少于当前基准，但在真实的长期任务中取得了显著成功。
-
新方法无需重新训练即可引导视频生成模型
研究人员开发了一种无需重新训练核心模型即可控制视频生成模型的方法。通过在采样阶段注入可微分能量引导，他们可以引导基于 Open-Sora 2.0 MM-DiT 主干构建的世界模型的规划轨迹。这种方法可以实现诸如在特定点让模型刹车等操作，尽管生成的视频尚未完美遵循引导轨迹，这表明模型架构中需要改进跨流耦合。
-
新方法可在无需重新训练的情况下实现文本和图像到图像生成
研究人员开发了TF-TI2I，一种新颖的文本和图像到图像生成方法，可以在无需进一步训练的情况下适配现有的文本到图像模型。该方法利用MM-DiT架构，使文本标记能够从视觉标记中隐式学习视觉信息。关键技术包括用于选择性信息共享的参考上下文掩码（Reference Contextual Masking）和用于缓解分布偏移的赢者通吃模块（Winner-Takes-All module）。该团队还引入了FG-TI2I Bench，一个旨在评估文…
-
新方法实现具有风格一致性的开放词汇场景文本编辑
研究人员开发了一种新颖的自提示方法，用于编辑图像中的场景文本，解决了现有方法忽略目标区域的视觉细节并受限于预训练字形编码器的局限性。这项新技术直接从图像构建风格和字形提示，利用多模态扩散 Transformer (MM-DiT) 的上下文学习能力。该方法实现了开放词汇和风格一致的文本编辑，在各种语言上展示了最先进的性能。
-
新方法通过平衡对齐、真实感和美学来改进AI肖像生成
研究人员开发了一种新方法，用于改进文本到图像扩散模型中的人物肖像生成，解决了文本-图像对齐、真实感和美学之间的常见权衡问题。他们的方法采用了一种面向多模态扩散Transformer (MM-DiT) 的特征监督范式，该范式集成了来自SigLIP 2的视觉对齐文本引导，而不会影响模型的原始能力。该技术还利用了来自预训练视觉模型的审美信号来增强感知美感，从而在所有三个指标上都推动了改进结果的帕累托前沿。
-
Galaxy General LDA-1B模型统一多样化数据，迎来具身AI的GPT-2时刻
Galaxy General LDA 推出了 LDA-1B，一个拥有 16 亿参数的模型，旨在统一具身 AI 的多样化数据源利用。该模型采用了新颖的世界-动作融合方法，使其能够从广泛的数据中学习，包括虚拟模拟、真实世界镜头，甚至噪声或未标记的输入。通过打破数据孤岛，LDA-1B 旨在克服先前具身 AI 模型的局限性，并迎来可扩展、通用机器人智能的时代。
-
UniSonate模型统一了语音、音乐和音效的生成
研究人员开发了UniSonate，一个新颖的统一框架，用于通过自然语言指令生成语音、音乐和音效。该模型通过协调结构化语义表示与非结构化声学纹理，解决了生成式音频的碎片化问题。UniSonate采用动态令牌注入机制和多模态扩散Transformer (MM-DiT)，在文本到语音和文本到音乐任务中实现了精确的时长控制和最先进的结果，同时在文本到音频生成方面也表现出竞争力。