Diffusion Transformers
PulseAugur coverage of Diffusion Transformers — every cluster mentioning Diffusion Transformers across labs, papers, and developer communities, ranked by signal.
12 天有情绪数据
-
研究发现寄存器 token 可增强像素空间扩散 Transformer
研究人员调查了寄存器 token 在扩散 Transformer (DiTs) 中的效用，发现虽然 DiTs 不像 Vision Transformers (ViTs) 那样表现出相同的 patch-token 异常值，但它们仍然受益于寄存器 token。研究表明，寄存器在像素空间 DiTs 中比在潜在空间 DiTs 中更有效，可能通过在更高噪声水平下产生更清晰的特征图。在此发现的基础上，该论文介绍了寄存器引导（Register Gu…
-
新高效图像生成模型Z-Image和SnapGen++发布
研究人员开发了Z-Image和SnapGen++，两种新的高效图像生成基础模型。Z-Image拥有60亿参数，挑战了高性能必须大规模的观念，以显著降低的计算开销实现了与更大商业模型相当的结果。SnapGen++通过结合紧凑的扩散Transformer架构、弹性训练框架和知识引导蒸馏管线，专注于在边缘设备上实现高保真图像生成。这两种模型都旨在使先进的图像生成技术在更广泛的硬件上更易于访问和实用。
-
扩散 Transformer 中的大规模激活解锁增强图像生成
研究人员在扩散 Transformer (DiTs) 中识别出“大规模激活”，它们在图像生成和理解中起着关键作用。这些激活集中在一小部分隐藏状态通道中，对于合成精细细节和组织空间信息至关重要。目前正在开发新的方法来调节这些大规模激活，从而在无需额外训练的情况下提高 DiTs 的生成质量和表示能力。
-
新的SVG-EAR方法提高了稀疏视频生成效率
研究人员开发了SVG-EAR，一种新颖的、参数无关的方法，用于通过扩散Transformer（DiTs）提高稀疏视频生成的效率。该方法通过用聚类质心近似跳过的注意力块来解决DiTs的计算瓶颈，从而在无需额外训练的情况下恢复丢失的信息。SVG-EAR进一步引入了误差感知路由机制，以识别和补偿近似误差最显著的块，从而改善质量-效率权衡并提高吞吐量。
-
Worldscape-MoE: 统一的专家混合世界模型，用于可扩展的动作控制
研究人员推出了 Worldscape-MoE，这是一种新颖的专家混合（Mixture-of-Experts）世界模型，专为可扩展的异构动作控制而设计。该模型基于 Diffusion Transformers 构建，旨在将摄像头轨迹和机器人动作等不同的控制接口统一到一个单一框架中，以保留对世界动态的共享理解。实验表明，整合多样化的动作监督可以提高个体控制能力，从而在 WorldArena 等基准测试中取得优异表现并实现强大的泛化能力。
-
CineMobile 实现移动端电影级视频生成，速度提升 40 倍
研究人员开发了 CineMobile，一种新颖的移动端图像到视频生成方法，专注于电影级运动效果。该系统采用蒸馏引导的剪枝策略创建紧凑模型，通过扩散蒸馏和强化学习优化为 4 步生成器。通过混合训练后量化进一步压缩，模型大小减小到 1 GB 以下，从而能够在移动平台上高效生成。
-
OrbitQuant 实现扩散 Transformer 的数据无关量化
研究人员开发了 OrbitQuant，一种用于扩散 Transformer (DiTs) 的新型训练后量化方法。该技术通过在归一化、旋转基中进行量化来实现高效推理，无需在不同的时间步、提示或模态之间进行重新校准。OrbitQuant 在 FLUX.1、Z-Image-Turbo、Wan 2.1 和 CogVideoX 等图像和视频生成模型的低比特设置下实现了最先进的性能，甚至在 2 位权重下也能实现可用的生成质量。
-
新的Elastic Diffusion Transformer加速生成模型
研究人员开发了一种Elastic Diffusion Transformer (E-DiT)来加速Diffusion Transformers (DiT)等生成模型。E-DiT在每个DiT块中引入了一个轻量级路由器，该路由器可以动态识别与样本相关的稀疏性，从而能够自适应地跳过计算。该框架在2D图像和3D资产生成任务上展示了高达2倍的速度提升，同时生成质量损失极小。
-
扩散模型研究聚焦效率、不确定性和复现性
近期研究探索了扩散模型的进步，重点在于提高效率和解决特定挑战。一篇论文介绍了在扩散模型中更具样本效率的人类反馈强化学习（RLHF）方法，实现了高达6倍的提升。另一篇论文提出了一个随机微分方程框架HyperNSD，用于超图神经网络中的不确定性估计。此外，一项调查回顾了视觉扩散模型中的复现性问题，强调了隐私和版权方面的担忧。其他研究则侧重于扩散模型的有效训练后技术，例如用于4位计算的FourTune和用于超高分辨率图像编辑的UltraDi…
-
新的DiT-Pruning方法提高了图像生成效率
研究人员开发了一种新的训练后剪枝技术，称为DiT-Pruning，专门用于扩散Transformer（DiTs），它们以其高昂的图像生成计算需求而闻名。由于DiTs独特的架构和权重分布，传统的剪枝方法对其无效。DiT-Pruning引入了定制的显著性标准，以平衡权重和激活的贡献，并采用感知聚类的粒度来更好地分配稀疏权重。实验表明，该方法在保持高稀疏度水平的情况下能有效保持图像质量，性能优于现有技术。
-
Decoupled Guidance 框架改进文本到图像个性化
研究人员推出了一种名为 Decoupled Guidance (DeGu) 的新颖框架，旨在通过分离主体身份和场景上下文来改进文本到图像的个性化。现有方法由于共享的条件路径，常常在保真度（主体表示的程度）和可编辑性（上下文的融合程度）之间进行权衡。DeGu 通过将主体和上下文路由到不同的引导流来解决这个问题，然后使用空间混合机制动态融合它们。这种即插即用的方法可以应用于现有的个性化方法，而无需更改其核心模型，能够持续提高性能并允许控制…
-
新模块提升 Diffusion Transformer 图像质量
研究人员引入了一个质量表示模块（QRM），旨在增强文本到图像的扩散模型，特别是 Diffusion Transformer (DiT)。这个轻量级模块从现有模型输入中学习一个质量感知表示，并生成向量来调整 DiT transformer 块内的自适应 LayerNorm 调制。通过注入这种质量敏感信号，QRM 旨在提高生成图像的保真度和一致性，而无需改变核心扩散过程或采样计划。实验表明，与标准的 DiT 模型相比，QRM 能够持续提高图像质量。
-
SpheRoPE框架实现零样本360度全景生成
研究人员开发了SpheRoPE，一个用于生成360度全景图像和视频的新框架。这种零样本、无训练的方法将球形先验注入预训练的扩散Transformer中，在无需优化的前提下克服了拓扑约束。SpheRoPE利用Spherical RoPE编码球形流形数据，并使用Semantic Distortion无分类器引导来控制几何形状，使其能够泛化到各种骨干网络和生成模式。
-
新AI模型UniGP和AccelAes统一图像生成与感知任务
研究人员开发了UniGP，一个通过联合训练扩散Transformer模型来统一可控图像生成和密集预测任务的框架。该方法基于MMDiT，旨在捕捉图像-几何对的联合分布，而无需复杂的特定任务设计。实验表明，UniGP的表现与专用方法相当，并提供互补的优势，增强了生成中的感知细节和结构对齐。另外，AccelAes被提出作为一种无需训练的方法，通过将计算重新分配给具有更高美学相关性的区域来加速扩散Transformer以增强美学效果的图像生成。
-
新研究为音视频生成提供统一控制
两篇新研究论文介绍了同步生成音频和视频的先进方法。MMControl 专注于统一的多模态控制，允许用户使用各种视觉和听觉信号来影响角色身份、声音、姿势和场景布局。Unison 旨在通过解耦语音和音效生成，并采用跨模态同步策略来提高连贯性并减少不匹配，从而协调运动、语音和声音。
-
新研究探索使用扩散模型进行先进的视频生成和处理
研究人员正在探索使用扩散模型来改进视频生成和处理的先进技术。一种方法是将状态空间模型（SSM）与视频扩散模型集成，以提高效率并处理更长的序列，在内存使用和性能方面优于基于注意力的方法。其他研究则侧重于通过使用扩散 Transformer 和自适应来提高视频重新照明中的时间一致性，并通过利用预训练的视频扩散模型从视频中重建 4D 手部运动。此外，还在开发用于高效视频恢复和鲁棒点跟踪的方法，方法是调整扩散模型的特征和训练策略。
-
RoPEMover 使用深度感知 RoPE 实现图像中几何一致的对象重定位
研究人员开发了 RoPEMover，一种在保持几何一致性的同时，在单个图像中重定位对象的新颖方法。该方法利用扩散 Transformer 中的深度感知旋转位置嵌入 (RoPE) 来编码 3D 空间结构，从而实现精确的对象位移和场景感知更新。RoPEMover 使用合成数据和有限的真实世界数据进行训练，在保持对象身份、生成合理的新内容以及更新阴影和光照等场景相关效果方面，均展现了最先进的性能。
-
LearniBridge 通过可学习特征缓存加速扩散模型 · 已追踪 2 个来源
研究人员开发了 LearniBridge，一种通过优化特征缓存来加速 Diffusion Transformers (DiTs) 等扩散模型的新颖方法。该技术通过使用轻量级 LoRA 更新来校准多个时间步之间的中间表示，从而解决了现有方法中的误差累积问题。LearniBridge 仅需少量训练数据，并在各种图像和视频生成任务上实现了显著的加速，最高可达 5.87 倍，同时在基准测试中保持或提高了性能。
-
新的 ScalingAttention 框架提升了扩散 Transformer 的视频生成能力
研究人员开发了 ScalingAttention，一个旨在优化扩散 Transformer (DiTs) 视频生成的新框架。该方法通过发现一种在训练过程中对提示不敏感且稳定的内在稀疏注意力拓扑，解决了 DiTs 中全 3D 注意力造成的计算瓶颈。该框架利用 WEST 进行离线块稀疏先验掩码提取，并利用 FAST 进行自适应头稀疏调整，从而在视频生成任务中实现了显著的加速和更高的保真度。
-
新的Style-CCL框架增强了内容保持的风格迁移能力
研究人员开发了Style-CCL，一个利用Diffusion Transformers实现内容保持的风格迁移的新框架。该方法采用课程持续学习方法，首先在语义风格上训练双分支SC-DiT模型，然后训练纹理风格，同时从干净数据进展到合成数据。为了缓解灾难性遗忘，在训练阶段使用了随机记忆回放。实验表明，Style-CCL在风格相似性、内容一致性和美学质量方面优于现有方法。