Latent diffusion model
PulseAugur coverage of Latent diffusion model — every cluster mentioning Latent diffusion model across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新框架提升AI人脸生成公平性
研究人员开发了一个名为语义边界预测器（SBP）的新框架，以提高使用潜在扩散模型进行合成人脸生成时的公平性。SBP在反向扩散过程中的一个时间步长进行干预，利用早期和晚期潜在表示的不同语义作用。该方法无需重新训练基础模型，即可显著减少生成图像中的人口统计学差异（如性别和种族），同时保持图像质量。
-
新方法使用元数据指导合成心脏MRI生成
研究人员开发了一种新的方法，使用预训练的潜在扩散模型来生成合成心脏磁共振成像（CMR）。该方法将模型条件化于结构化临床元数据和切片位置，这些信息被编码为文本提示，以指导图像生成过程。为了增强元数据依从性并解决数据不平衡问题，研究团队整合了三种策略：无元数据的分类器自由引导（CFG）、对比批处理和逆频率采样。在大型UK Biobank数据集上的评估显示，与基线模型相比，在分布保真度和元数据对齐方面有了显著改进，尽管特定疾病的条件化仍然是一个挑战。
-
设备端扩散应用使用环境光而非文本提示
研究人员开发了一款完全在设备端执行潜在扩散图像生成的 Android 应用程序，绕过了云服务以增强可审计性。该应用程序利用设备的环境光传感器作为控制机制，而不是传统的文本提示。该系统记录传感器读数、运行时路径和种子，为每个生成的工件创建可验证的审计跟踪，证明了环境光输入与输出亮度之间存在正相关。
-
DiffGI 引入微分几何图像以实现高保真三维生成
研究人员推出了一种新颖的三维生成框架 DiffGI，该框架利用微分几何图像。该方法用连续的二维截断符号距离函数 (TSDF) 取代了传统的体积表示，以克服表示薄壳和非流形几何体的局限性。DiffGI 通过集成微分 Marching Squares 算法实现了端到端训练，允许梯度从三维表面损失反向传播到二维潜在空间。该框架包含一个用于压缩三维表面的 DiffGI-VAE 和一个基于 Transformer 的潜在扩散模型，用于条件生成，…
-
DiffGI框架实现高保真薄壳三维生成
研究人员推出DiffGI，一个用于生成高保真三维模型的新颖框架，尤其对服装等薄壳结构有效。与使用离散占用图的先前方法不同，DiffGI采用连续二维截断符号距离函数（TSDF）和可微分Marching Squares算法。这种方法实现了端到端可微分，允许梯度从三维表面损失流回二维潜在空间。该框架包含一个DiffGI-VAE，用于将三维表面压缩到紧凑的潜在空间，以及一个用于条件三维生成的潜在扩散模型，以更少的计算资源实现了卓越的重建保真度。
-
量子电路在人工智能生成模型中展现出潜力和挑战
研究人员正在探索将量子电路集成到人工智能模型中，特别是在图像合成和量子电路优化等生成任务方面。一项关于量子电路合成的研究发现，虽然Transformer模型可以为某些量子电路实现高保真度，但由于自回归漂移，它们在离散门方面难以实现精确等价，尽管数据缩放和推理时间策略可以部分缓解。另一项研究调查了在扩散模型中使用变分量子电路进行图像生成，发现其性能与经典模型相当，但没有明显的参数效率优势。这项工作还识别并解决了基于分数的模型中量子调制器…
-
CONFLUX模型生成逼真的3D胸部CT扫描，并增强临床控制力
研究人员开发了CONFLUX，这是一种新颖的潜在扩散模型，用于合成具有特定临床属性的3D胸部CT扫描。该模型使用3D变分自编码器进行压缩，并使用整流流变换器进行生成，该生成过程以详细的放射学元数据为条件。额外的强化学习后训练阶段，使用组相对策略优化，显著增强了模型可靠生成所请求的临床发现的能力，与真实扫描相比，大大减少了差距。该项目还包括发布一个大型合成胸部CT数据集和一个交互式演示。
-
新AI框架为卵巢癌生成合成3D CT扫描
研究人员开发了OvESyn，一个用于生成卵巢癌合成3D CT扫描的新颖框架。该方法独一无二，因为它不需要原始放射学报告，而是使用影像描述符和临床元数据来条件化一个潜在扩散模型。该框架在493名患者身上进行了评估，在分布和强度保真度以及覆盖率方面表现出色，突显了由编码器适应控制的权衡。
-
AI框架生成可控的4D心脏MRI序列
研究人员开发了一种新颖的框架，用于生成可控的4D心脏MRI序列，解决了标注数据不足和领域偏移的限制。该系统利用半监督变分自编码器学习解剖表示，并利用级联潜在扩散模型将解剖结构与运动解耦。这种方法可以精确控制静态解剖结构并确保时间连贯性，从而在扩充训练数据时提高下游分割性能。
-
New Transformer Backbone Enhances Scalable Peptide Design
研究人员开发了MEET（Memory Efficient Equivariant Transformer），一种新颖的E(3)等变骨干网络，专为可扩展的原子级肽建模而设计。该框架通过将原子结构压缩为潜在表示，解决了在几何约束下共同设计肽序列和结构所面临的挑战。MEET实现了与原子数量成线性增长的内存扩展，并与现有方法相比显示出更高的生成质量，有望在肽设计中实现系统性的模型和数据扩展。
-
潜在扩散模型被分析为“神经经济体”· arXiv论文
本文通过考察生成式图像模型（特别是潜在扩散模型）的底层机制以及它们为计算机视觉工程师设计的要解决的问题，对其进行了批判性分析。文章认为，这些模型充当了“神经经济体”，将社会交流抽象化为可量化的向量进行销售。分析追溯了训练和生成流程，揭示了每个操作如何强化平台和注意力经济的逻辑，并警告说，仅关注版权的批评可能会无意中维护模型的拜物教性质。相反，本文主张在批评中将社会交换置于中心地位。
-
BrainG3N 推出双用途分词器，实现可控 3D 脑 MRI 生成
研究人员开发了 BrainG3N，这是一种用于生成 3D 脑 MRI 扫描的新型分词器。该系统采用掩码自编码器 (MAE) 编码器和 CNN 解码器的双用途方法，将临床信息嵌入的需求与解剖结构精确重建的要求分离开来。在大型数据集上预训练的 MAE 编码器在临床任务上的表现优于现有的最先进模型。在这些嵌入上训练的条件扩散 Transformer 能够跨越各种属性和患者特定预测进行可控生成。
-
AI模型通过树叶重建地表温度以实现野火探测
研究人员开发了一种通过茂密树叶重建地表温度的新方法，旨在改进早期野火探测。该技术结合了信号处理和在潜在扩散模型生成的模拟数据上训练的视觉状态空间模型。与传统的红外和合成孔径成像相比，该方法显著降低了均方根误差，并在野外实验中显示出识别热点甚至人类信号的潜力。
-
新AI模型利用CT扫描预测脑出血扩张
研究人员开发了HemExp，这是一种新颖的潜在扩散模型，旨在预测自发性脑出血后的血肿扩张。该模型根据基线影像和临床数据，生成患者特异性的后续非对比CT图像和出血分割。通过模拟真实的临床场景并估计合理后续血肿体积的分布，HemExp旨在支持神经外科护理中对不确定性敏感的决策。
-
ARAPDiffusion 使用 ARAP 正则化进行 3D 形状学习
研究人员开发了 ARAPDiffusion，这是一种新颖的潜在扩散模型，旨在从可变形对象集合中学习连续形状空间。核心创新是将尽可能刚性（ARAP）变形原理作为正则化损失整合到扩散模型中。这种方法减少了对大量 3D 训练数据的需求，并同时增强了编码器/解码器和扩散模型本身。
-
扩散模型增强金属合金TEM缺陷检测
研究人员开发了一种新颖的数据增强技术，使用掩码条件潜在扩散模型生成合成透射电子显微镜（TEM）图像。该方法旨在改进金属合金中缺陷的检测和分类，特别是在数据稀缺的情况下。通过合成具有自动标记缺陷掩码的逼真图像，该方法增强了深度学习模型的训练，在缺陷分析中显示出适度的性能提升。
-
AI 设计出经过湿式实验验证的新型 D-肽结合物
研究人员开发了一种新颖的生成式 AI 方法，用于设计 L-蛋白的 D-肽结合物，这类分子具有重要的治疗潜力。通过将轴向特征纳入 E(3) 等变向量模型，该系统可以从 L-肽结合物的训练数据中进行泛化，从而设计出 D-肽结合物。该方法在潜在扩散模型中实现，在计算机模拟中表现出卓越的性能，并已在湿式实验中得到验证，标志着在从头蛋白质设计中处理手性方面取得了重大进展。
-
PhAME框架通过表型感知的分子编辑推进药物发现
研究人员开发了PhAME，一个旨在增强小分子药物发现的新型潜在扩散框架。该方法解决了同时优化多种分子特性的挑战，例如特定的表型特征和与已知化合物的结构相似性。PhAME利用组合式无分类器引导方案，精确控制这些目标之间的权衡，在化学有效性和新颖性方面在各种基准测试中均取得了最先进的结果。
-
生成模型在3D医学图像翻译中的比较
研究人员对七种用于3D医学图像到图像翻译的生成模型进行了全面评估，在多个数据集和解剖区域上比较了GANs与潜在生成模型。研究发现，GANs，特别是SRGAN，在合成医学图像方面通常优于潜在模型。一个关键发现是，尽管在与医生进行的视觉图灵测试中，合成图像与真实图像在很大程度上难以区分，但定量指标并未完全符合临床偏好，尤其是在小病灶和强度值的合成方面。
-
AI利用生成式深度估计从线条画中重建三维线框模型
研究人员开发了一种新颖的生成方法，可以从单线条画中重建三维线框模型。该方法将问题视为条件密集深度估计任务，利用潜在扩散模型（LDM）来处理正交投影固有的歧义。该模型在超过一百万对图像-深度数据上进行训练，平均深度误差为5.3％，在各种形状复杂性上都显示出有效性。