diffusion model
PulseAugur coverage of diffusion model — every cluster mentioning diffusion model across labs, papers, and developer communities, ranked by signal.
13 天有情绪数据
-
新的DUPO方法利用扩散模型改进强化学习
研究人员推出了一种新方法，称为扩散引导的不确定性感知延迟策略优化（DUPO），以解决由延迟反馈引起的强化学习性能下降问题。DUPO使用扩散模型显式地建模延迟状态与当前状态之间的关系，从而能够估计差异并相应地加权延迟策略。在机器人控制任务上的实验表明，DUPO在超越现有方法方面非常有效，尤其是在具有长期和随机延迟的场景中。
-
新方法利用流形假设和VAE进行缺失数据填充
研究人员开发了一种新颖的缺失数据填充方法，该方法利用了流形假设，即高维数据位于低维流形上。所提出的技术利用混合变分自编码器（VAEs）来捕捉底层数据结构，然后采用采样-重要性重采样（SIR）程序，并可能由联合扩散模型增强。这种方法不仅在填充缺失值时尊重数据几何结构，还能量化填充不确定性并允许即时填充。
-
EraseLoRA框架使用MLLM进行无数据集对象移除
研究人员开发了EraseLoRA，一种用于图像无数据集对象移除的新型框架。该方法利用多模态大语言模型来区分目标前景、其他前景元素和背景。然后，它采用一种感知背景的重建过程，聚合各种背景子类型以确保忠实集成，在背景保真度方面优于以前的无数据集技术，并减少了不希望的前景再生。
-
流匹配研究推动生成模型和逆问题发展 · 跟踪10个来源
近期研究探索了用于生成模型和逆问题的流匹配技术的进展。论文介绍了用于高效多模态基于仿真的后验估计的FUSE，用于具有不确定性量化的稳定逆设计的对角流匹配（Diag-CFM），以及用于约束生成的拉格朗日对偶流。其他工作侧重于用于改进期望估计的得分正则化联合采样以及扩散和流匹配采样器的渐近保持分析。此外，流匹配正应用于稀疏视图CT重建和地球物理反演，展示了其在各种科学和工程领域的通用性。
-
AI 从汉堡数据中发现巨无霸配方，并生成新式汉堡
据报道，一个在汉堡配方上训练的扩散模型在没有明确指令的情况下“发现”了巨无霸。该 AI 系统还可以生成针对特定标准（如口味、可持续性或营养）进行优化的新式汉堡概念。AI 在烹饪艺术中的应用，特别是在食谱生成和优化方面，被强调为一项重要的用例。
-
新型扩散模型应对影片修复挑战
研究人员开发了HaineiFRDM，这是一种新颖的扩散模型，专为影片修复而设计，在快速运动和多样化缺陷等挑战性条件下尤其有效。该模型通过利用内容建模能力来解决结构失真和肢体消失等问题。为了实现高分辨率修复，HaineiFRDM采用了具有全局融合模块的块状策略以实现跨块一致性，一个基于频率的模块以实现纹理一致性，以及一个块一致推理框架以最小化伪影。该团队还创建了一个新的影片修复数据集，并证明他们的方法在具有强大结构一致性的同时实现了卓越…
-
新CCUA方法提升了稀有类别AI图像生成能力
研究人员开发了一种名为对比条件-无条件对齐（CCUA）的新方法，以提高扩散模型生成的图像的质量和多样性，特别是在训练数据有限的类别上。CCUA结合了对齐损失（AL），使去噪过程在早期阶段对类别条件的敏感度降低，促进了头部和尾部类别之间的知识共享，以及无监督对比损失（UCL），以增加合成图像之间的差异性。该方法在不损害头部类别质量的情况下增强了尾部类别的生成能力，并在ImageNet-LT等数据集上显示出优于现有方法的性能。
-
AI框架优化无人机巡检路线以改善通信
研究人员开发了一个新的框架，用于优化用于城市巡检的多个无人机（UAV）的轨迹。该框架利用由扩散模型生成的信道知识图（CKM）从稀疏数据预测全局信道质量分布。然后，图注意力网络软Actor-Critic算法利用此CKM规划高效且通信可靠的飞行路径，避免信号强度差的区域，而无需实时反馈。
-
新的I2C-3D方法通过交互碰撞增强组合式3D生成
研究人员推出了一种新的方法I2C-3D，用于生成具有改进一致性和交互性的多对象3D场景。该方法解决了当前文本到图像扩散模型在组合式3D资产和跨视角不一致性方面存在的局限性。I2C-3D采用“包容性交互碰撞”策略来确保对象之间进行合理的交互，并使用“多视角自适应分数蒸馏采样”来增强不同视角的一致性。
-
新AI管线从单张图像生成逼真3D化身
研究人员开发了FiCA，一个从单张肖像图像生成逼真3D化身的新颖系统。该管线结合了以人为中心的视觉基础模型和扩散模型，以从有限的视觉输入中重建完整的3D网格细节。前馈网格细化网络进一步提高了化身的保真度和身份保留能力，无需进行特定于个人的优化，最终将网格解码为实时可驱动的3D高斯化身，在视觉质量和身份表示方面均超越了当前方法。
-
新方法增强了用于图像生成和理解的统一多模态AI模型
研究人员开发了改进统一多模态模型（UMMs）的新方法，UMMs结合了视觉理解和生成。一种方法是重建对齐（RECA），它使用自监督学习从图像自身的视觉嵌入中重建图像，以最小的计算成本提高生成和编辑的保真度。另一种方法是SPAR，它引入了一个新颖的框架，具有不对称双流标记器，以弥合语义感知和像素级重建之间的差距，并采用自适应路由来实现灵活的多模态交互。这两种技术都旨在提高UMMs的质量和能力，而无需依赖外部数据或教师。
-
新研究探索超越自回归AI的扩散模型和状态空间模型
两篇新的arXiv论文探讨了超越传统自回归语言模型的先进建模技术。第一篇论文 survey 了用于代码智能的扩散模型、代码世界模型和状态空间模型，并提出这些模型可以克服规划和依赖处理方面的局限性。第二篇论文介绍了一种扩散驱动的状态空间模型（DDSSM），它用扩散模型替换高斯转移，通过更好地捕捉潜在系统动力学来改进时间序列拟合和预测。
-
新AI模型利用CT扫描预测脑出血扩张
研究人员开发了HemExp，这是一种新颖的潜在扩散模型，旨在预测自发性脑出血后的血肿扩张。该模型根据基线影像和临床数据，生成患者特异性的后续非对比CT图像和出血分割。通过模拟真实的临床场景并估计合理后续血肿体积的分布，HemExp旨在支持神经外科护理中对不确定性敏感的决策。
-
扩散模型从X射线衍射数据预测晶体结构
研究人员开发了XRDiff，这是一种能够从粉末X射线衍射（PXRD）数据预测晶体结构的新型扩散模型。该模型可以根据已知的化学计量比或更具挑战性的元素组成和晶胞原子数来推断结构。XRDiff通过基于峰值的编码在区分多晶型物方面表现出强大的性能，该编码对噪声和伪影具有鲁棒性，并有望推广到实验数据。
-
NavWAM 通过集成的前瞻和动作增强机器人视觉导航
研究人员开发了 NavWAM，这是一种新颖的扩散-Transformer策略，旨在增强机器人面向目标的视觉导航。与需要单独规划模块的先前方法不同，NavWAM 将未来预测与动作和价值目标相结合，从而可以直接利用视觉前瞻进行机器人控制。该模型在模拟和真实世界导航任务中都展示了优于现有基于规划的世界模型的性能。
-
新方法改进了用于复杂物理模拟的AI训练
研究人员开发了一种名为在线生成主动采样（OGAS）的新型主动学习方法，以改进偏微分方程（PDE）的面向数据的代理模型的训练。该方法使用扩散模型来学习和控制数据采样分布，优先选择会导致代理模型具有挑战性动力学的配置。OGAS旨在减少最坏情况下的误差并改善整体误差分布，同时开销可忽略不计。
-
AI预测并增强云中看到的动物形状
研究人员开发了一种AI方法，可以预测人们在云中可能看到的动物形状，这种现象被称为空想性错视。该系统使用扩散模型将云片段转换为在视觉上与原始云相似的动物形状。此外，它还可以通过使用变形视频来增强感知，帮助用户识别出他们最初可能未识别出的云中的特定动物。
-
扩散模型在零样本环境声音分类方面取得进展
研究人员开发了一种新颖的扩散模型，用于零样本环境声音分类，这项任务在历史上一直面临性能不佳的困境。该新模型为未见过的类别生成合成嵌入，然后将这些合成嵌入与现有嵌入结合起来训练分类器。在六个音频数据集上的实验表明，该扩散模型显著优于先前的基线方法，使其成为该音频分析领域的挑战性问题的一种有前途的方法。
-
AI图像生成解析：从噪声到视觉呈现
AI图像生成涉及使用扩散模型将文本提示转换为视觉输出。这些模型从随机噪声开始，并逐步将其精炼成符合用户指令的图像。后续帖子将详细介绍此过程中涉及的步骤和技术。
-
新的扩散模型框架增强了基于姿态的人物图像生成
研究人员开发了一个名为“用于基于姿态生成人物图像的融合嵌入”（FPDM）的新框架，使用扩散模型来改进基于指定姿态的人物图像生成。该方法通过对比学习明确地将融合的源姿态嵌入与目标图像嵌入对齐，并使用学习到的融合嵌入作为生成的条件信号。FPDM集成了图像-姿态融合模块来学习这些对齐的嵌入，并使用源外观、目标姿态和融合嵌入来指导条件扩散模型。在基准数据集上的实验表明，FPDM在纹理保真度和跨姿态和源变化的一致性方面有所提高。