Latent diffusion model
PulseAugur coverage of Latent diffusion model — every cluster mentioning Latent diffusion model across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
-
量子电路用于扩散模型进行图像生成
研究人员正在探索将量子电路集成到扩散模型中以进行图像生成。一项研究发现，通过挤压和激励通道调制支架集成的变分量子电路（VQCs）在MNIST和CIFAR-10图像生成等任务上取得了与经典控制相当的结果，但并未显示出明显的量子参数效率优势。另一种方法提出了一种混合量子-经典流水线，该流水线使用经典自编码器进行降维，然后在学习到的潜在空间中应用量子扩散模型，旨在在实际量子比特约束下实现可扩展性。
-
CONFLUX模型生成逼真的3D胸部CT扫描，并增强临床控制力
研究人员开发了CONFLUX，这是一种新颖的潜在扩散模型，用于合成具有特定临床属性的3D胸部CT扫描。该模型使用3D变分自编码器进行压缩，并使用整流流变换器进行生成，该生成过程以详细的放射学元数据为条件。额外的强化学习后训练阶段，使用组相对策略优化，显著增强了模型可靠生成所请求的临床发现的能力，与真实扫描相比，大大减少了差距。该项目还包括发布一个大型合成胸部CT数据集和一个交互式演示。
-
新AI框架为卵巢癌生成合成3D CT扫描
研究人员开发了OvESyn，一个用于生成卵巢癌合成3D CT扫描的新颖框架。该方法独一无二，因为它不需要原始放射学报告，而是使用影像描述符和临床元数据来条件化一个潜在扩散模型。该框架在493名患者身上进行了评估，在分布和强度保真度以及覆盖率方面表现出色，突显了由编码器适应控制的权衡。
-
AI框架生成可控的4D心脏MRI序列
研究人员开发了一种新颖的框架，用于生成可控的4D心脏MRI序列，解决了标注数据不足和领域偏移的限制。该系统利用半监督变分自编码器学习解剖表示，并利用级联潜在扩散模型将解剖结构与运动解耦。这种方法可以精确控制静态解剖结构并确保时间连贯性，从而在扩充训练数据时提高下游分割性能。
-
New Transformer Backbone Enhances Scalable Peptide Design
研究人员开发了MEET（Memory Efficient Equivariant Transformer），一种新颖的E(3)等变骨干网络，专为可扩展的原子级肽建模而设计。该框架通过将原子结构压缩为潜在表示，解决了在几何约束下共同设计肽序列和结构所面临的挑战。MEET实现了与原子数量成线性增长的内存扩展，并与现有方法相比显示出更高的生成质量，有望在肽设计中实现系统性的模型和数据扩展。
-
潜在扩散模型被分析为“神经经济体”· arXiv论文
本文通过考察生成式图像模型（特别是潜在扩散模型）的底层机制以及它们为计算机视觉工程师设计的要解决的问题，对其进行了批判性分析。文章认为，这些模型充当了“神经经济体”，将社会交流抽象化为可量化的向量进行销售。分析追溯了训练和生成流程，揭示了每个操作如何强化平台和注意力经济的逻辑，并警告说，仅关注版权的批评可能会无意中维护模型的拜物教性质。相反，本文主张在批评中将社会交换置于中心地位。
-
BrainG3N 推出双用途分词器，实现可控 3D 脑 MRI 生成
研究人员开发了 BrainG3N，这是一种用于生成 3D 脑 MRI 扫描的新型分词器。该系统采用掩码自编码器 (MAE) 编码器和 CNN 解码器的双用途方法，将临床信息嵌入的需求与解剖结构精确重建的要求分离开来。在大型数据集上预训练的 MAE 编码器在临床任务上的表现优于现有的最先进模型。在这些嵌入上训练的条件扩散 Transformer 能够跨越各种属性和患者特定预测进行可控生成。
-
AI模型通过树叶重建地表温度以实现野火探测
研究人员开发了一种通过茂密树叶重建地表温度的新方法，旨在改进早期野火探测。该技术结合了信号处理和在潜在扩散模型生成的模拟数据上训练的视觉状态空间模型。与传统的红外和合成孔径成像相比，该方法显著降低了均方根误差，并在野外实验中显示出识别热点甚至人类信号的潜力。
-
新AI模型利用CT扫描预测脑出血扩张
研究人员开发了HemExp，这是一种新颖的潜在扩散模型，旨在预测自发性脑出血后的血肿扩张。该模型根据基线影像和临床数据，生成患者特异性的后续非对比CT图像和出血分割。通过模拟真实的临床场景并估计合理后续血肿体积的分布，HemExp旨在支持神经外科护理中对不确定性敏感的决策。
-
ARAPDiffusion 使用 ARAP 正则化进行 3D 形状学习
研究人员开发了 ARAPDiffusion，这是一种新颖的潜在扩散模型，旨在从可变形对象集合中学习连续形状空间。核心创新是将尽可能刚性（ARAP）变形原理作为正则化损失整合到扩散模型中。这种方法减少了对大量 3D 训练数据的需求，并同时增强了编码器/解码器和扩散模型本身。
-
扩散模型增强金属合金TEM缺陷检测
研究人员开发了一种新颖的数据增强技术，使用掩码条件潜在扩散模型生成合成透射电子显微镜（TEM）图像。该方法旨在改进金属合金中缺陷的检测和分类，特别是在数据稀缺的情况下。通过合成具有自动标记缺陷掩码的逼真图像，该方法增强了深度学习模型的训练，在缺陷分析中显示出适度的性能提升。
-
AI 设计出经过湿式实验验证的新型 D-肽结合物
研究人员开发了一种新颖的生成式 AI 方法，用于设计 L-蛋白的 D-肽结合物，这类分子具有重要的治疗潜力。通过将轴向特征纳入 E(3) 等变向量模型，该系统可以从 L-肽结合物的训练数据中进行泛化，从而设计出 D-肽结合物。该方法在潜在扩散模型中实现，在计算机模拟中表现出卓越的性能，并已在湿式实验中得到验证，标志着在从头蛋白质设计中处理手性方面取得了重大进展。
-
PhAME框架通过表型感知的分子编辑推进药物发现
研究人员开发了PhAME，一个旨在增强小分子药物发现的新型潜在扩散框架。该方法解决了同时优化多种分子特性的挑战，例如特定的表型特征和与已知化合物的结构相似性。PhAME利用组合式无分类器引导方案，精确控制这些目标之间的权衡，在化学有效性和新颖性方面在各种基准测试中均取得了最先进的结果。
-
生成模型在3D医学图像翻译中的比较
研究人员对七种用于3D医学图像到图像翻译的生成模型进行了全面评估，在多个数据集和解剖区域上比较了GANs与潜在生成模型。研究发现，GANs，特别是SRGAN，在合成医学图像方面通常优于潜在模型。一个关键发现是，尽管在与医生进行的视觉图灵测试中，合成图像与真实图像在很大程度上难以区分，但定量指标并未完全符合临床偏好，尤其是在小病灶和强度值的合成方面。
-
AI利用生成式深度估计从线条画中重建三维线框模型
研究人员开发了一种新颖的生成方法，可以从单线条画中重建三维线框模型。该方法将问题视为条件密集深度估计任务，利用潜在扩散模型（LDM）来处理正交投影固有的歧义。该模型在超过一百万对图像-深度数据上进行训练，平均深度误差为5.3％，在各种形状复杂性上都显示出有效性。
-
新AI方法增强图像、时间序列修复及模型分析
研究人员开发了改进生成模型的新方法。其中一种方法“Free Decompression”利用代数谱曲线理论，能够跨矩阵尺寸外推谱信息，使其适用于神经网络和扩散模型等更真实的机器学习模型。另一项开发SPLICE，将潜在生成插补与时间序列数据的保形预测区间相结合，为电力系统等应用提供更高的准确性和可靠性。此外，新的图像修复技术也在涌现，包括使用分层变分推理和预训练扩散模型的VIPaint，以及优化初始噪声以实现可控3D修复的InpaintSLat。
-
几何条件扩散模型增强了遮挡鲁棒的姿态估计
研究人员开发了一种名为几何条件扩散（GeoDiffPose）的新方法，以改进在床上的人体姿态估计，特别是在身体部分被毯子覆盖的情况下。该方法使用姿态条件潜在扩散模型直接从骨骼关键点生成覆盖姿态的图像，绕过了配对监督或可见源图像的需求。GeoDiffPose模型在遮挡鲁棒姿态估计方面表现出有效性，在严重遮挡下实现了高定位精度，并接近完全监督方法的性能。
-
Google Photos 使用 AI 从新视角重新构图图像
Google Photos 推出了一项由机器学习和生成式 AI 提供支持的全新“自动构图”功能，允许用户从新视角重新构图现有照片。该系统将图像解读为 3D 场景，从而能够调整相机位置和焦距，以展现之前未见的内容。这种方法包括一个两阶段过程：首先，估计 3D 场景和相机参数；其次，使用生成式潜在扩散模型填充任何新展现的区域。