Latent diffusion model
PulseAugur coverage of Latent diffusion model — every cluster mentioning Latent diffusion model across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新框架为稀缺的少样本学习策展合成数据
研究人员提出了一种用于通用少样本类增量学习（G-FSCIL）的新框架，该场景下基础数据和增量数据都非常稀缺。所提出的方法通过策展可信的合成知识来解决弱初始表示和语义漂移等挑战。它利用一个冻结的潜在扩散模型来生成合成数据，学习一种选择语义一致且视觉多样化样本的策略，并采用边界稳定的增量适应方案来减轻新旧类别之间的冲突。实验表明，这种方法优于现有的FSCIL方法，改善了新旧类别之间的平衡。
-
StyleGAN2通过中间潜在空间增强地质数据同化
研究人员开发了一种新颖的基于集合的数据同化储层属性参数化方法，该方法利用StyleGAN2的中间潜在空间。该方法解决了传统方法在处理非高斯地质分布时遇到的局限性。研究表明，StyleGAN2，特别是当利用其中间w空间时，能够生成地质上逼真的样本，并与使用潜在z空间相比，实现了更优越的数据匹配。
-
AI使用多模态Stable Diffusion XL生成符合文化习俗的Ulos图案
研究人员开发了一个多模态生成框架，通过实现可控且符合文化习俗的图案生成，来帮助传统的巴塔克Ulos编织业。该系统使用LoRA对Stable Diffusion XL进行微调，并与LLaMA 1.5-7B集成，采用四种条件机制：通过ControlNet的文本、图像、表示和语义图。消融研究表明，文本、图像和语义图条件的组合在FID和CLIP Score方面产生了最佳结果，而文本、图像和表示则提供了一种平衡的方法。用户评估证实了统计学上显著…
-
用户提供本地测试旧版AI图像生成模型
一位Reddit用户已成功在本地设置并提供测试各种旧版AI图像生成模型的提示词服务。这些模型包括First Order Motion Model、DeepDaze、Big Sleep、VQGAN+CLIP、OG DALL-E Mini、Disco Diffusion、Latent Diffusion、Stable Diffusion 1.1至1.5版本以及ModelScope。该用户邀请其他人提供提示词，并指定他们希望测试的模型。
-
GRADE系统利用生成式AI改善低能见度下的雷达深度估计
研究人员开发了GRADE，一个用于从单帧雷达数据估计高保真度度量深度的新颖系统，尤其是在烟雾、雾和黑暗等具有挑战性的视觉条件下。GRADE利用预训练的生成式先验，特别是潜在扩散模型，并以从原始雷达频谱派生的粗略深度估计来条件化其去噪过程。当有相机线索可用时，像素空间适配器会将其纳入，从而使系统在能见度下降时也能接近雷达条件下的性能。在具有真实烟雾的各种室内环境中进行测试，GRADE表现强劲，在清晰和受烟雾影响的场景中均实现了低平均绝对…
-
新的EEGDM框架使用潜在扩散模型进行信号表示
研究人员推出了一种新颖的自监督框架EEGDM，旨在从脑电图（EEG）数据中学习表示。与以往专注于重建掩码信号段的方法不同，EEGDM利用潜在扩散模型生成EEG信号。这种方法迫使模型捕捉全局时间模式和跨通道关系，从而获得更鲁棒的表示。该框架已证明其能够重建高质量的EEG信号，并在各种下游任务中取得有竞争力的性能。
-
新的AI模型ReFlowSET和C-DiffSET推动SAR到EO图像翻译的进步
研究人员开发了两个新的框架ReFlowSET和C-DiffSET，用于将合成孔径雷达（SAR）图像翻译成电光（EO）图像。ReFlowSET专注于选择最优的潜在编解码器并从头开始训练一个更小的扩散Transformer，在基准数据集上取得了最先进的结果。C-DiffSET利用预训练的潜在扩散模型，并引入了置信度引导的扩散损失来改进对象生成和减轻伪影，同样展示了卓越的性能。
-
新框架提升AI人脸生成公平性
研究人员开发了一个名为语义边界预测器（SBP）的新框架，以提高使用潜在扩散模型进行合成人脸生成时的公平性。SBP在反向扩散过程中的一个时间步长进行干预，利用早期和晚期潜在表示的不同语义作用。该方法无需重新训练基础模型，即可显著减少生成图像中的人口统计学差异（如性别和种族），同时保持图像质量。
-
新方法使用元数据指导合成心脏MRI生成
研究人员开发了一种新的方法，使用预训练的潜在扩散模型来生成合成心脏磁共振成像（CMR）。该方法将模型条件化于结构化临床元数据和切片位置，这些信息被编码为文本提示，以指导图像生成过程。为了增强元数据依从性并解决数据不平衡问题，研究团队整合了三种策略：无元数据的分类器自由引导（CFG）、对比批处理和逆频率采样。在大型UK Biobank数据集上的评估显示，与基线模型相比，在分布保真度和元数据对齐方面有了显著改进，尽管特定疾病的条件化仍然是一个挑战。
-
设备端扩散应用使用环境光而非文本提示
研究人员开发了一款完全在设备端执行潜在扩散图像生成的 Android 应用程序，绕过了云服务以增强可审计性。该应用程序利用设备的环境光传感器作为控制机制，而不是传统的文本提示。该系统记录传感器读数、运行时路径和种子，为每个生成的工件创建可验证的审计跟踪，证明了环境光输入与输出亮度之间存在正相关。
-
DiffGI 引入微分几何图像以实现高保真三维生成
研究人员推出了一种新颖的三维生成框架 DiffGI，该框架利用微分几何图像。该方法用连续的二维截断符号距离函数 (TSDF) 取代了传统的体积表示，以克服表示薄壳和非流形几何体的局限性。DiffGI 通过集成微分 Marching Squares 算法实现了端到端训练，允许梯度从三维表面损失反向传播到二维潜在空间。该框架包含一个用于压缩三维表面的 DiffGI-VAE 和一个基于 Transformer 的潜在扩散模型，用于条件生成，…
-
DiffGI框架实现高保真薄壳三维生成
研究人员推出DiffGI，一个用于生成高保真三维模型的新颖框架，尤其对服装等薄壳结构有效。与使用离散占用图的先前方法不同，DiffGI采用连续二维截断符号距离函数（TSDF）和可微分Marching Squares算法。这种方法实现了端到端可微分，允许梯度从三维表面损失流回二维潜在空间。该框架包含一个DiffGI-VAE，用于将三维表面压缩到紧凑的潜在空间，以及一个用于条件三维生成的潜在扩散模型，以更少的计算资源实现了卓越的重建保真度。
-
量子电路在人工智能生成模型中展现出潜力和挑战
研究人员正在探索将量子电路集成到人工智能模型中，特别是在图像合成和量子电路优化等生成任务方面。一项关于量子电路合成的研究发现，虽然Transformer模型可以为某些量子电路实现高保真度，但由于自回归漂移，它们在离散门方面难以实现精确等价，尽管数据缩放和推理时间策略可以部分缓解。另一项研究调查了在扩散模型中使用变分量子电路进行图像生成，发现其性能与经典模型相当，但没有明显的参数效率优势。这项工作还识别并解决了基于分数的模型中量子调制器…
-
CONFLUX模型生成逼真的3D胸部CT扫描，并增强临床控制力
研究人员开发了CONFLUX，这是一种新颖的潜在扩散模型，用于合成具有特定临床属性的3D胸部CT扫描。该模型使用3D变分自编码器进行压缩，并使用整流流变换器进行生成，该生成过程以详细的放射学元数据为条件。额外的强化学习后训练阶段，使用组相对策略优化，显著增强了模型可靠生成所请求的临床发现的能力，与真实扫描相比，大大减少了差距。该项目还包括发布一个大型合成胸部CT数据集和一个交互式演示。
-
新AI框架为卵巢癌生成合成3D CT扫描
研究人员开发了OvESyn，一个用于生成卵巢癌合成3D CT扫描的新颖框架。该方法独一无二，因为它不需要原始放射学报告，而是使用影像描述符和临床元数据来条件化一个潜在扩散模型。该框架在493名患者身上进行了评估，在分布和强度保真度以及覆盖率方面表现出色，突显了由编码器适应控制的权衡。
-
AI框架生成可控的4D心脏MRI序列
研究人员开发了一种新颖的框架，用于生成可控的4D心脏MRI序列，解决了标注数据不足和领域偏移的限制。该系统利用半监督变分自编码器学习解剖表示，并利用级联潜在扩散模型将解剖结构与运动解耦。这种方法可以精确控制静态解剖结构并确保时间连贯性，从而在扩充训练数据时提高下游分割性能。
-
New Transformer Backbone Enhances Scalable Peptide Design
研究人员开发了MEET（Memory Efficient Equivariant Transformer），一种新颖的E(3)等变骨干网络，专为可扩展的原子级肽建模而设计。该框架通过将原子结构压缩为潜在表示，解决了在几何约束下共同设计肽序列和结构所面临的挑战。MEET实现了与原子数量成线性增长的内存扩展，并与现有方法相比显示出更高的生成质量，有望在肽设计中实现系统性的模型和数据扩展。
-
潜在扩散模型被分析为“神经经济体”· arXiv论文
本文通过考察生成式图像模型（特别是潜在扩散模型）的底层机制以及它们为计算机视觉工程师设计的要解决的问题，对其进行了批判性分析。文章认为，这些模型充当了“神经经济体”，将社会交流抽象化为可量化的向量进行销售。分析追溯了训练和生成流程，揭示了每个操作如何强化平台和注意力经济的逻辑，并警告说，仅关注版权的批评可能会无意中维护模型的拜物教性质。相反，本文主张在批评中将社会交换置于中心地位。
-
BrainG3N 推出双用途分词器，实现可控 3D 脑 MRI 生成
研究人员开发了 BrainG3N，这是一种用于生成 3D 脑 MRI 扫描的新型分词器。该系统采用掩码自编码器 (MAE) 编码器和 CNN 解码器的双用途方法，将临床信息嵌入的需求与解剖结构精确重建的要求分离开来。在大型数据集上预训练的 MAE 编码器在临床任务上的表现优于现有的最先进模型。在这些嵌入上训练的条件扩散 Transformer 能够跨越各种属性和患者特定预测进行可控生成。
-
AI模型通过树叶重建地表温度以实现野火探测
研究人员开发了一种通过茂密树叶重建地表温度的新方法，旨在改进早期野火探测。该技术结合了信号处理和在潜在扩散模型生成的模拟数据上训练的视觉状态空间模型。与传统的红外和合成孔径成像相比，该方法显著降低了均方根误差，并在野外实验中显示出识别热点甚至人类信号的潜力。