Inpainting
PulseAugur coverage of Inpainting — every cluster mentioning Inpainting across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的多任务预训练框架增强了脑部MR图像分割
研究人员开发了一种用于脑部MR图像分割的多任务自监督预训练框架，结合了通用的图像修复任务和特定领域的脑龄预测（体素级别）任务。该方法旨在从无标签的神经影像数据中学习可迁移的特征表示，解决了医学分析中带标注数据集稀缺的问题。与单任务预训练模型和从头开始训练的模型相比，预训练模型在多发性硬化症病变、缺血性中风病变和皮层脑结构分割等下游任务上表现出更优越的性能。
-
新的EBM-AE框架增强生成模型和图像修复
研究人员开发了一个新颖的协同框架，将基于能量的模型（EBM）与自编码器（AE）相结合，以增强生成模型。该EBM-AE框架采用一个迭代过程，其中EBM根据能量景观精炼样本，而AE将这些样本投影到学习到的数据流形上。在MNIST数据集上的实验表明，这种组合方法显著提高了图像生成质量，优于传统的自编码器，并证明了其在图像修复任务中的有效性。
-
SDXL 使用多个 LoRA 进行图像修复：用户寻求实时功能
一位 Reddit 用户正在询问是否有可能在 SDXL 模型中使用多个 LoRA 同时进行图像修复。他回忆起曾看到过一个演示，其中角色和风格 LoRA 同时应用，实现了近乎实时的图像修复，并正在寻求关于如何在新模型上实现此功能或类似功能的信息。
-
新方法整合深度学习中的偶然性和认知不确定性
研究人员开发了一种用于深度学习模型不确定性量化（UQ）的新方法，特别适用于高维输出空间。该方法联合建模偶然性不确定性（解释数据噪声）和认知不确定性（反映模型置信度）。通过用低秩加对角协方差结构近似联合不确定性，该方法在没有完整协方差矩阵的计算开销的情况下捕获了重要的输出相关性。这种统一的二阶分布支持稳健的下游分析，并在图像修复、着色、光流和深度估计等任务中展示了卓越的 UQ 性能。
-
新方法增强AI解决成像逆问题的能力
研究人员开发了新的方法，即频谱自适应调度（SAS）和测量优先注意力（MPA），以提高流式生成模型在解决成像逆问题方面的性能。这些技术解决了这些模型在时间和空间上如何分配计算资源（函数评估次数或NFEs）的局限性。SAS优化了流时间上的NFE分布，以平衡语义探索和细节细化，而MPA则通过利用数据先验冲突，将信息引导至约束不足的区域。当这些即插即用组件在不重新训练的情况下集成到现有求解器中时，它们在超分辨率、去模糊和修复等任务的图像恢复质…
-
新框架增强掩码 Transformer 并使状态空间模型适应缺失数据
研究人员开发了 iFAN，一个旨在通过使查询排名与掩码质量保持一致并改进中间预测蒸馏来增强掩码 Transformer 的训练框架。该方法解决了最高概率查询不一定产生最准确掩码的匹配问题，以及早期层产生的优越预测会丢失的问题。在 COCO 和 Cityscapes 等数据集上的实验表明，iFAN 以最小的开销持续提高分割性能。另外，一篇论文介绍了 Partial Vision Mamba (PVM)，用于使 Mamba 等状态空间模型…
-
新的GAFIC方法通过全局注意力增强图像裁剪
研究人员开发了一种名为全局注意力融合图像裁剪（GAFIC）的新图像裁剪方法，旨在通过考虑图像组件之间的全局关系，而不是仅仅关注显著区域，来改善美学构图。GAFIC利用注意力引导特征融合（AGFF）来创建全局表示，并利用全局对齐裁剪评估器（GACE）将裁剪特征与该表示对齐。实验表明，GAFIC在准确性和稳定性方面均优于现有方法，为需要像素完整性和高效批量处理的场景提供了解决方案。
-
Fast Equivariant Imaging 加速无监督深度学习训练
研究人员推出了一种新的无监督学习框架 Fast Equivariant Imaging (FEI)，旨在加速深度成像网络的训练。FEI 使用不精确变量分裂方案重新构建了 Equivariant Imaging 目标，将网络训练与辅助恢复步骤分开。这种新颖的方法在 X 射线 CT 重建和图像修复等任务上，与标准的 Equivariant Imaging 相比，训练时间加速了十倍，同时还提高了泛化性能并实现了高效的测试时适应。
-
新方法增强用于图像生成的视觉自回归模型
研究人员开发了新方法来提高视觉自回归模型的效率和性能。一种方法，Shift-and-Sum Quantization（移位求和量化），解决了图像生成任务中注意力值乘积的重建误差和校准数据差异。另一个框架UniAR，使用单一视觉分词器统一多模态理解和生成，通过多级特征融合和比特量化在图像生成和编辑方面取得了最先进的成果。
-
研究统一了贝叶斯逆问题的驱动先验
一篇新的研究论文提出了一个统一的框架，用于将各种数据驱动的先验集成到贝叶斯逆问题中。该研究展示了如何通过得分函数统一各种先验，包括去噪正则化、基于归一化流的先验和基于得分的生成模型。这种方法允许有效地集成到提出的采样算法中，并在图像修复和超分辨率任务中得到实验验证。
-
图像修复研究揭示奖励模型偏差
研究人员利用直接偏好优化框架和公开可用的奖励模型，重新审视了图像修复的首选项对齐。他们的研究表明，虽然大多数奖励模型提供了有效的信号，但一些模型在亮度、构图和颜色方面存在偏差，导致奖励破解。这些奖励模型的集成有效地缓解了这些偏差，在标准指标和人类评估方面均取得了改进的性能，甚至显示出对物体移除任务的可迁移性。