Diffusion Transformers
PulseAugur coverage of Diffusion Transformers — every cluster mentioning Diffusion Transformers across labs, papers, and developer communities, ranked by signal.
- instance of Diffusion Transformer 90%
- instance of Pixart 90%
- instance of Diffusion Models 90%
- instance of Qwen Image 90%
- instance of DiT-XL/2 90%
- used by Wan2.1-14B 90%
- instance of CatalyzeX Code Finder for Papers 90%
- developed Data Influence Oriented Tree Search 90%
- used by Pixart 70%
- used by Data Influence Oriented Tree Search 70%
- used by HunyuanVideo 70%
- used by Diffusion Models 70%
9 天有情绪数据
-
CalibCache 方法提升 Diffusion Transformer 的图像生成速度和质量
研究人员开发了 CalibCache,一种提高 Diffusion Transformer 效率的新方法,Diffusion Transformer 用于生成高质量图像。该技术通过减少对完整网络评估的需求来解决迭代采样的计算成本。CalibCache 使用离线校准图来校准特征加速(采样步骤之间的变化度量)。该方法在图像保真度和生成速度方面显示出显著的改进,在 FLUX.1-dev 和 Qwen-Image 等基准测试中优于 Taylo…
-
RL post-training on diffusion transformers achieved via simple activation shifts
研究人员发现,在扩散 Transformer 上进行强化学习(RL)的后训练,主要通过恒定的激活值偏移来提高模型性能,而不是复杂的、依赖于输入的转换。通过使用一小组固定的引导向量(其参数数量远少于传统的 RL 调优 LoRA 方法),研究人员能够恢复大部分性能提升。这种方法在提高视觉质量、文本渲染和组合准确性方面被证明是有效的,这表明通过引导模型利用其现有能力,可以实现 RL 后训练的大部分好处。
-
Direct3D-V3: Latent-Free Diffusion Transformers for Native 3D Generation
研究人员开发了Direct3D-V3,一个新颖的无潜在扩散Transformer框架,可以直接在体素域中生成3D模型,无需变分自编码器(VAE)。该方法在训练和采样过程中对原始有符号方向距离函数(SDF)体素网格进行建模,并结合隐式流形正则化以确保几何上可靠且水密的表面。该框架还预测相机参数,以改善条件图像与生成几何之间的对齐,从而产生具有更丰富局部细节的网格,并实现生成式重建。
-
扩散Transformer实现可控纹理平铺,保真度更高
研究人员开发了一个新的框架,用于使用扩散Transformer进行可控纹理平铺,解决了现有方法在将用户指定的纹理集成到场景图像中的局限性。该方法引入了一种坐标变换旋转嵌入机制,通过变换相对位置嵌入来精确控制平铺模式,从而无需显式像素变形即可准确操纵频率、方向和尺度。此外,还采用了不相交注意力掩码来防止参考特征的语义泄露,确保合成纹理保持结构完整性并与场景的原始光照和几何形状无缝融合。实验表明,该方法在控制精度和纹理保真度方面均优于当前…
-
新方法移除扩散模型中的解码器,提升图像质量
研究人员开发了一种名为“无需解码器即可解码”(DWD)的方法,该方法消除了对潜在扩散模型中解码器的需求。通过向微调的扩散 Transformer 添加线性预测头,DWD 允许模型直接生成像素,从而降低推理成本并提高图像和视频质量。该方法在视频生成方面显示出 23% 的扭曲误差减少,并在 ImageNet 上的文本到图像生成方面取得了 1.43 的新最先进 FID 分数。
-
新的扩散 Transformer 可实现黑盒优化的高级 Thompson 采样
研究人员引入了一种称为先验拟合扩散 Transformer 的新方法,用于以黑盒方式优化未知函数。该方法利用扩散模型在先验拟合网络范式下进行预训练后,进行上下文内的 Thompson 采样。该工作还开发了适用于具有非高斯特性的函数的实用非高斯先验,在全局优化基准测试中展示了优于传统高斯过程流水线的性能。
-
新的DiRotQ方法增强了4位扩散Transformer的量化性能
研究人员开发了DiRotQ,一种用于扩散Transformer(DiTs)的新型4位量化框架,可在保持图像生成质量的同时显著降低内存和计算成本。该方法通过主成分分析(PCA)识别低秩子空间,利用旋转感知激活量化来维持主导激活方差的更高精度。DiRotQ在PixArt模型上取得了最先进的成果,优于以往的量化技术,并在RTX 4090和采用Blackwell架构的Nvidia RTX PRO 6000等硬件上实现了显著的加速和内存缩减。
-
新方法可检测并抑制 Diffusion Transformer 中的风险内容
研究人员开发了一种新颖的、无需训练的方法来检测和抑制 Diffusion Transformers(DiTs,一种文本到图像模型)生成的风险内容。该技术识别模型注意力头中的概念,这些注意力头对特定的语义概念表现出敏感性。通过量化 token 敏感性并采用基于动量的策略,该方法自适应地抑制与风险 token 相关的注意力 logits,从而有效减轻有害、色情或侵犯版权图像的生成,同时保持视觉质量和对抗提示的鲁棒性。
-
InstaGen 通过新的采样技术加速视频生成
研究人员开发了 InstaGen,一种使用 Diffusion Transformers (DiTs) 加速视频生成的新颖方法。InstaGen 通过采用群组共享重要性采样来解决 DiTs 的计算成本问题,该方法用更具样本效率的方法取代了传统的 top-p 选择。该技术提高了 PSNR 等性能指标并降低了延迟,在基准数据集上优于 SVG2 和 SVG-EAR 等现有方法。
-
DualCast框架增强数字人电商视频生成
研究人员推出DualCast,一个旨在改进数字人电商视频生成的新型框架。该方法通过采用双图像条件方法,明确区分了产品外观和人类身份的不同作用。DualCast采用双时空槽注入机制和掩码引导损失来提高关键区域的保真度,同时也允许单图像生成。该框架在实验结果中表现出强大的性能。
-
RouTex框架通过重编程位置编码推进三维纹理生成 · 已追踪2个来源
研究人员推出RouTex,一个使用多视图参考图像生成三维纹理的新框架。该系统利用了上下文扩散Transformer,并通过一种称为位置路由的技术重编程三维旋转位置编码(RoPE)。这使得在不添加新参数的情况下,参考图像与生成视图之间能够建立明确的对应关系。RouTex还采用了双粒度注意力机制,有效地结合了局部和全局注意力机制,在多参考三维纹理生成方面取得了最先进的成果。
-
新理论将意识与量子力学和 AI 模型联系起来
Mastodon 上的两篇相关帖子探讨了关于意识的新颖理论。一篇提出人类意识反映了量子力学,时间以离散的时刻和信息循环展开。另一篇介绍了 XTrack,一种使视频扩散 Transformer 适应不同视图之间时间对象对应关系的方法,有可能通过环境扭矩解锁意识。
-
SAKURA架构支持手机端私密图像编辑
研究人员开发了SAKURA,这是一种云边协同架构,旨在为移动设备上的私密图像编辑高效地提供注意力键值(KV)状态。该系统通过使用细粒度的、感知令牌重要性的压缩方法,并根据网络带宽自适应地选择缓存表示,来解决存储大型、可重用KV状态的挑战。SAKURA还包含一个流水线式运行时,可以将缓存传输和重建与设备端执行重叠,从而显著降低延迟和存储需求,同时保持图像质量。
-
新的LSGQuant方法增强了用于视频超分辨率的扩散模型
研究人员开发了一种新颖的量化方法LSGQuant,旨在降低用于真实世界视频超分辨率的一步扩散模型的计算成本和模型大小。该方法包含一个动态范围自适应量化器(DRAQ)来处理不同的token激活,以及一个方差导向层训练策略(VOLTS)来分析层统计数据。此外,还使用量化感知优化(QAO)来精炼量化和高精度模型分支,实现了接近原始全精度模型的性能,同时优于现有的量化技术。
-
PISA 方法通过分段稀疏注意力提高扩散 Transformer 的效率
研究人员开发了 PISA,一种新的无训练分段稀疏注意力方法,旨在提高扩散 Transformer 的效率。PISA 通过泰勒展开近似非关键注意力块来解决这些模型中注意力的二次复杂度,而不是丢弃它们。这种方法可以在不牺牲质量的情况下实现显著的加速,在 Wan2.1-14B 和 Hunyuan-Video 模型上分别实现了 1.91 倍和 2.57 倍的加速,在 FLUX 上实现了 1.2 倍的图像生成加速。
-
新的AI模型解决了无限制图像分辨率和农业机器人导航问题
研究人员推出了FiTv2,这是一种为扩散模型设计的改进型灵活视觉Transformer,能够以无限制的分辨率和宽高比生成图像。该架构通过将图像视为动态令牌序列来解决现有模型的局限性,从而实现更快的收敛和更好的分辨率泛化。此外,还开发了一个名为AgriVLN的新基准和方法,用于农业机器人的视觉和语言导航,通过将复杂指令分解为子任务来提高性能。
-
TamedFlow 通过结合压缩和自适应推理来加速扩散模型采样
研究人员开发了 TamedFlow,一种通过结合模型压缩和自适应推理技术来加速扩散模型采样的新颖方法。该方法解决了“组合差距”问题,即当这两种加速策略一起使用时会出现质量下降。TamedFlow 采用跨架构特征对齐和专门的速度对齐头来有效训练压缩的学生模型。然后,一个可学习的轨迹估计器在推理过程中路由草稿,允许接受的草稿绕过教师模型并降低计算成本。
-
MoDDiT 通过动态 Token 路由提升 Diffusion Transformer 的效率
研究人员推出 MoDDiT,一种针对 Diffusion Transformer (DiTs) 的新颖架构修改,旨在提高图像和视频生成的效率。MoDDiT 通过学习将 Token 路由到独立的 MLP 和自注意力操作,实现动态计算分配,从而根据 Token 内容、图像特征和去噪时间步长实现可变计算使用。这种方法显著降低了训练和推理过程中的计算成本,MoDDiT 处理的 Token 数量少至 12.5%,同时提高了生成性能,优于标准基线…
-
SpecKCast 使用频域卡尔曼滤波加速扩散 Transformer
研究人员开发了 SpecKCast,这是一种新颖的无需训练的方法,旨在加速扩散 Transformer,后者常用于图像和视频生成。该技术使用针对特定频带定制的卡尔曼滤波器在频域中预测 Transformer 的输出。仅当预测的不确定性超过设定的阈值时,才会调用扩散 Transformer,从而在内存占用极少的情况下实现高达 6 倍的速度提升。
-
UniW(A)M框架使用扩散Transformer统一世界模型和动作模型
研究人员推出 UniW(A)M,一个新颖的混合专家框架,旨在统一世界模型和世界-动作模型。该框架利用扩散Transformer共享通用物理动力学,同时允许预测和控制的独特建模能力。UniW(A)M 在真实世界操作任务和动作条件世界建模基准上展现出卓越的性能,优于现有基线。