Latent Diffusion Models
PulseAugur coverage of Latent Diffusion Models — every cluster mentioning Latent Diffusion Models across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
GMODiff 框架使用扩散模型优化高动态范围重建
研究人员开发了 GMODiff，一种用于高动态范围 (HDR) 重建的新型一次性扩散框架。该方法将 HDR 重建重新定义为增益图细化问题，利用预训练的潜在扩散模型 (LDM) 来编码扩展的动态范围，同时保持与标准低动态范围图像相同的比特深度。GMODiff 通过减轻内容幻觉和降低推理成本，解决了直接应用 LDM 的局限性，与之前的 LDM 方法相比，速度提高了 100 倍，同时保持了高感知质量和结构准确性。
-
新理论解释AI水印的伪造攻击
研究人员开发了一个新的理论框架，以理解潜在扩散模型（LDM）中语义水印的脆弱性。他们的分析表明，不同模型之间的结构不匹配会产生不可约的失真下限，限制了伪造水印的保真度。这种失真表现为潜在流形上的几何偏差，而不是随机噪声。基于这些发现，该团队提出了一种检测方法，可以在水印验证之前识别伪造的样本，并在各种黑盒场景中证明了其有效性。
-
PixelU Transformer 提供高效的端到端像素扩散
研究人员推出 PixelU，这是一种新颖的 U 型扩散 Transformer，专为高效的端到端像素扩散而设计。该模型通过关注 $x$-预测范式而非 $v$-预测，挑战了像素空间扩散中复杂解码器的必要性。PixelU 利用零成本跳跃连接直接路由高频细节，并采用恒定通道空间下采样机制来分离低频语义。在 ImageNet 上的实验表明，PixelU 在计算成本显著降低的情况下，取得了与现有方法相比具有竞争力的 FID 分数。
-
新的SSVAE方法将视频扩散模型训练速度提升3倍
研究人员开发了一种名为谱结构VAE（SSVAE）的新方法，以提高视频生成中使用的潜在扩散模型的性能。通过分析视频变分自编码器（VAE）的潜在空间，他们确定了两个关键的谱属性——时空谱中的低频偏差以及由少数模式主导的通道 eigenspectrum——这对于高效的扩散训练至关重要。SSVAE通过引入两种轻量级正则化器，局部相关性正则化和潜在掩码重构，来实现这些属性。实验表明，与现有的开源VAE相比，SSVAE在文本到视频生成的收敛速度上…
-
神经场自适应探索权重空间以增强AI表示
研究人员探索了将神经场权重用作有效表示的潜力，特别是在预训练模型和低秩自适应（LoRA）的约束下。这种被称为神经场自适应的方法在包括2D和3D数据的重建、生成和分析在内的各种任务中显示出有希望的结果。特别是，乘法LoRA权重表现出高质量的表示和语义结构，与现有的权重空间方法相比，提高了潜在扩散模型的生成质量。
-
新框架PeLAP-A剪枝潜在扩散模型，揭示“稀疏性崩溃”
研究人员推出PeLAP-A，一个旨在通过自适应剪枝潜在空间中不重要通道来使潜在扩散模型更轻量化的框架。该方法使用多层感知机预测通道重要性，创建一个软掩码，在特征被U-Net处理之前抑制相关性较低的特征。在CIFAR-10上进行有力的正则化测试时，PeLAP-A证明其可以在训练过程中将潜在通道驱动至接近零，同时与未剪枝模型相比，扩散损失和VAE重建精度得到提高。这种被称为“稀疏性崩溃”的现象表明，去噪U-Net在训练过程中对潜在通道的显…
-
FedOT框架增强了联邦LDM的归属验证和泄露追踪能力
研究人员推出FedOT，一个旨在验证联邦潜在扩散模型（LDM）的归属并追踪其泄露的新框架。该系统通过采用分块水印方法进行归属验证和客户端识别，解决了现有方法的漏洞。此外，FedOT采用潜在向量变换（LVT）技术，通过降低图像质量来防止水印移除攻击（如果VAE被替换），从而确保模型的完整性和可追溯性。
-
潜在扩散模型增强地下水流数据同化
研究人员开发了一种利用潜在扩散模型（LDM）进行地下水流模拟数据同化的新方法。该方法旨在提高模型参数与观测数据匹配的校准精度，同时保持地质真实性。研究在LDM潜在空间中比较了集合卡尔曼方法和蒙特卡洛技术，发现虽然集合卡尔曼方法可以减少不确定性，但可能产生不切实际的模型。然而，严格的蒙特卡洛采样在实现地质真实性和改进不确定性减少方面显示出潜力。
-
扩散模型为 CT 扫描生成逼真的肺结节
研究人员开发了一种新的潜在扩散模型，能够为 CT 扫描合成逼真的肺结节。该模型通过生成具有可控强度分布的结节，解决了自动肺癌筛查中数据集多样性不足的问题，提高了视觉可信度和亚型一致性。当用于数据增强时，合成的结节可以提高下游临床任务的性能，特别是在罕见结节亚型和恶性肿瘤分类方面。
-
新框架增强超高分辨率图像合成能力
研究人员推出了一种名为空间语法对齐（Spatial Gram Alignment, SGA）的新框架，旨在利用大规模预训练的潜在扩散模型（LDMs）来改进超高分辨率图像合成。传统方法在处理极高分辨率时会遇到可学习性和保真度之间的冲突，直接进行特征蒸馏可能导致生成质量下降。SGA通过将生成特征的自相似性与基础模型的先验知识对齐来解决这一问题，从而在确保宏观结构一致性的同时，保留微观像素级别的保真度。
-
RefDecoder 通过参考条件解码器改进视频生成
研究人员开发了 RefDecoder，一种通过参考图像条件化解码过程来增强视频生成的新方法。该方法解决了当前潜在扩散模型中细节丢失和不一致的问题，这些模型通常具有无条件解码器。通过注意力机制将参考图像信号直接注入解码器，RefDecoder 提高了结构完整性并保留了细节，从而在生成的视频中实现了更好的主体和背景一致性。
-
MicroscopyMatching框架可自动执行各种显微镜图像分析
研究人员开发了MicroscopyMatching，一个旨在自动化各种条件下显微镜图像分析的新型框架。该工具解决了现有深度学习方法在不同实验室环境中通常需要大量调整的局限性。通过将各种分析任务重构为一个统一的匹配问题，并利用预训练的潜在扩散模型，MicroscopyMatching旨在为生物对象的分割、跟踪和计数提供可靠且广泛适用的解决方案。
-
HapticLDM 模型从文本生成振动触觉反馈
研究人员开发了 HapticLDM，这是一种新颖的生成模型，旨在将文本描述转换为振动触觉反馈。与之前的自回归方法相比，该模型利用潜在扩散模型 (LDM) 来生成更准确、一致且语义对齐的振动。HapticLDM 旨在简化元宇宙和游戏等应用的触觉设计过程，通过逼真且精确的触觉感受来增强用户体验。
-
新研究探索生成模型和优化在逆问题中的应用
研究人员正在探索解决逆问题的新方法，这在医学成像等领域至关重要。一篇论文评估了生成模型（特别是扩散先验）的稳定性和可靠性，并将其与传统优化技术进行比较，以识别它们的优缺点。另一项研究引入了一种新颖的梯度流框架，通过优化提示和后验对齐，显著降低了潜在扩散模型的计算成本，并以更少的函数评估实现了最先进的结果。第三篇论文侧重于逆优化，提供了理论泛化界限和一个无参数算法，该算法展示了严格的性能保证。
-
新方法为潜在扩散模型中的风格属性提供精确控制
研究人员开发了一种在潜在扩散模型中精确控制风格属性的新方法，解决了图像编辑过程中意外内容修改的挑战。他们的方法从合成数据集中学习解耦的编辑方向，并使用引导组合来在应用风格调整的同时保持原始图像语义。与现有的基于文本的编辑方法相比，该技术提供了更集成、更精确且可连续调整的风格修改。
-
Seer模型使用潜在扩散模型进行高效、语言指导的视频预测
研究人员开发了Seer，一种用于文本条件视频预测的新型模型，旨在帮助机器人进行规划和实现目标。Seer利用预训练的文本到图像扩散模型，通过增强的注意力机制和将全局指令分解为帧特定子指令的模块，将其改编为时间生成。这种方法可以实现高效的微调，生成高保真度和连贯的视频，与现有的最先进方法相比，计算成本和性能都有显著提高。