ControlNet
PulseAugur coverage of ControlNet — every cluster mentioning ControlNet across labs, papers, and developer communities, ranked by signal.
14 天有情绪数据
-
BrainNormalizer 使用扩散模型重建伪健康大脑MRI
研究人员开发了BrainNormalizer，一个新颖的基于扩散的框架，旨在从包含肿瘤的扫描中重建伪健康大脑MRI。该方法利用边缘引导的ControlNet学习解剖学先验和结构条件，从而能够在不需要配对的肿瘤前扫描的情况下进行解剖学信息的重建。通过在推理过程中采用故意的错位策略，BrainNormalizer重建了保留个体结构特征的主题特定健康大脑解剖结构，在BraTS2020数据集上的分布真实性和结构一致性方面优于现有方法。
-
新的 ReLo-IRR 框架通过引导 LoRA 增强图像反射去除效果
研究人员开发了 ReLo-IRR，一个旨在改进图像反射去除效果的新型框架。该方法利用了一个基于校正流模型构建的反射引导 LoRA（低秩适配）框架。它包含一个轻量级估计器来预测反射强度，从而实现图像依赖的 LoRA 适配调制。此外，一个时间条件机制将此反射描述符与时间步嵌入相结合，以确保在整个去噪过程中进行一致的调制。实验表明，ReLo-IRR 能有效抑制各种反射条件并具有良好的泛化能力。
-
新的机器人世界模型使用分割掩码进行模拟到真实迁移
研究人员开发了 Mask2Real-WM，这是一种新颖的两阶段动作条件世界模型，专为灵巧机器人操作而设计。该模型将像素预测分解为动力学模型（预测未来的分割掩码）和渲染模型（使用增强了 ControlNet 的 Stable Video Diffusion 主干将这些掩码转换为照片级逼真图像）。通过利用大规模合成数据预训练动力学模型，Mask2Real-WM 在机器人任务中实现了改进的每自由度动作可控性，优于难以处理细粒度关节效应的整体基线。
-
新用户分享 Stable Diffusion 图像生成实验
一位新用户正在记录他们学习 Stable Diffusion（一款流行的开源图像生成模型）的过程。他们分享了最初的实验，并特别展示了一张引人注目的猫的图片。该用户采用了多种技术，包括使用深度图的 ControlNet 和不同的模型权重，从 Daz3D 创建的 3D 场景开始。
-
AI动画用户寻求对角色动作的更大控制权
一位Reddit用户正在寻找能够实现对AI生成角色动画更大控制的方法。他们正在寻找超越简单地重新蒙皮现有动作或依赖AI来解释动作提示的工作流程。用户希望有一个系统，允许进行精确的、计划好的动作，类似于传统的关键帧动画，但AI在关键帧之间进行插值。他们特别对能够弥合手动动画和完全由AI驱动的动作之间差距的工具或ComfyUI工作流程感兴趣，优先考虑2D木偶风格的一致性和定向运动，而不是照片般的真实感。
-
新的LoRA模型支持Stable Diffusion构图控制；用户寻求Krea 2集成
一位用户开发并分享了一个名为krea2_controlnet_lora的LoRA（Low-Rank Adaptation）模型，用于Stable Diffusion，该模型允许使用Depth Anything V2地图和提示词进行构图控制。另一位用户正在询问将ControlNet功能与Krea 2集成的可能性，并指出与Z-Image Turbo等其他工具相比，Krea 2缺少此功能是一个显著的缺点，而Z-Image Turbo则无缝支…
-
受大脑启发的扩散模型可从 fMRI 数据重建图像
研究人员开发了 Hi-DREAM，一个新颖的、受大脑启发的层级扩散框架，旨在改进从 fMRI 数据重建自然图像。该方法通过将扩散模型条件化于不同的视觉感兴趣区域 (ROI) 流，来利用视觉皮层的层级组织。通过将这些流转换为多尺度皮层金字塔，并使用 ROI 条件化的 ControlNet，Hi-DREAM 将解剖结构感知的先验知识注入去噪过程。在自然场景数据集 (NSD) 上的实验表明，Hi-DREAM 在保持结构完整性的同时实现了最先…
-
扩散模型增强了CDP认证的多类别OOD检测能力
研究人员开发了一个基于扩散模型的多类别分布外（OOD）检测框架，并将其应用于复制检测模式（CDP）认证。该方法使用一个单一的类别条件ControlNet，仅在各种打印和数字化（P&D）类别的真实CDP上进行训练，通过测量重构误差来识别伪造样本。该方法还结合了双模板掩码技术，通过关注被隐藏的像素来提高检测精度。在Indigo 1 x 1 Base数据集上进行测试，据报道，该方法在区分真实和伪造CDP方面优于现有的生成基线，且无需伪造样本…
-
HiDream-O1-Image：创新架构，开源图像生成结果喜忧参半
HiDream-O1-Image 是一款开源文生图模型，尽管在Artificial Analysis排行榜上名列前茅，但评价褒贬不一。其创新的UiT架构，在统一的token空间中处理像素、文本和任务条件，减少了信息损失并提高了效率，使其8B参数能够媲美参数量远超其规模的模型，如Qwen Image 27B。然而，这种新颖的架构与Stable Diffusion的LoRA和ControlNet等现有生态系统不兼容，并且在复杂指令遵循、上…
-
新方法HIG可在扩散模型中实现精确的直方图控制
研究人员推出了一种名为直方图约束图像生成（HIG）的新方法，用于控制扩散模型。HIG可在图像生成过程中精确强制执行用户指定的分布约束，例如颜色或潜在令牌直方图。该方法将控制建模为最优传输问题，并应用引导变换使扩散轨迹与期望的直方图对齐，从而提供了一种灵活且可解释的控制机制。
-
Anima 用户报告 ControlNet 模型无效
Reddit 上的用户报告在使用 Anima（一款 AI 图像生成工具）时，ControlNet 模型存在问题。具体来说，即使将 scribble 和 line ControlNet 模型设置为最高强度，它们对生成的图像也几乎没有或完全没有影响。这引发了关于这是 Anima 的固有局限性，还是用户可能错误配置了设置的疑问。
-
新的 Seed-to-Seed 方法结合了 GAN 和扩散模型进行图像翻译
研究人员开发了一种名为 Seed-to-Seed Translation (StS) 的新方法，该方法结合了生成对抗网络 (GAN) 和扩散模型来进行无配对的图像到图像翻译。该方法利用预训练扩散模型“种子空间”中的语义信息来执行复杂的翻译，特别是在汽车场景中，同时保持结构完整性。StS 方法使用以 CycleGAN 原理训练的 sts-GAN，并采用 ControlNet 进行结构保留，在性能上优于现有技术。
-
InstanceControl方法可在无需手动标注的情况下实现可控图像生成
研究人员推出了一种名为InstanceControl的新型可控图像生成方法，该方法无需手动进行实例标注。该方法利用视觉语言模型（VLM）自动将文本描述与视觉条件下的特定区域关联起来，从而解决了生成复杂多实例场景的挑战。VLM从视觉条件预测实例掩码，并在生成过程中对其进行优化以提高准确性和控制力。
-
Reddit 上质疑 Krea2 ControlNet 的可用性
一位 Reddit 用户正在询问 Krea2 的 ControlNet 模型是否存在或可能发布，并询问它是否会支持姿势或深度功能。这个问题表明用户希望在 Krea2 生态系统中增强对图像生成的控制。
-
14款图像生成模型在美术媒体渲染方面的对比
一位用户开发了一个自定义工具来评估14款不同的图像生成模型如何渲染美术媒体。该工具利用了略微修改的ComfyUI工作流模板和一套风格提示来创建展示结果的概览拼贴画。用户发现Z-Image表现最佳，给人最强的画廊作品印象，并且对提示的变化反应明显，尽管其Turbo版本在水彩画方面效果较差。Lens和HiDream等其他模型因输出模糊或偏向照片写实而被认为不适合，而FLUX.2和Qwen-Image模型则过于偏重合成或照片写实的美学风格。
-
新的ALDM模型增强了胶质瘤的少样本3D MRI合成
研究人员开发了解剖条件潜在扩散模型（ALDM），这是一个专为高效、少样本3D体积MRI合成设计的新型框架。该模型采用两阶段过程，首先使用3D变分自编码器学习解剖先验，然后使用由ControlNet引导的肿瘤掩模条件化的潜在扩散模型，为数据稀缺的领域生成连贯的体积。在仅使用16张目标图像的极端少样本评估中，ALDM超越了GAN和混合基线，取得了85.40的优越Frechet Inception Distance（FID）和0.987的下…
-
Stable Diffusion 用户讨论生成未知角色的最佳实践
Reddit 用户正在寻求最有效的方法来生成特定 AI 模型 Stable Diffusion 无法识别的角色的图像。讨论集中在 LoRA、IPAdapter 和 ControlNet 等技术上，重点关注在实际应用中实现最高的图像质量和角色准确性。
-
新手寻求免费、开源的动漫图像AI放大器
一位Reddit上的新手用户正在寻找免费且开源的图像放大工具推荐，特别是针对2D和动漫风格的图像。他们的目标是将低分辨率图像放大到接近4K的质量，同时保持细节并避免失真。用户拥有一台配置强大的笔记本电脑，配备Intel Core Ultra 9 CPU、NVIDIA RTX 5070 Ti GPU和32GB RAM，但对ComfyUI和SUPIR等复杂工具感到不知所措，更倾向于更易于上手お选项。有人担心Upscayl可能存在系统问题，…
-
SD Forge 用户报告 ControlNet 出现鬼影图像的错误
SD Forge 的用户遇到了一个错误，即软件错误地使用旧的 ControlNet 图像，即使提供了新图像。此问题在不同模式下持续存在，并影响文本到图像和图像到图像的生成。该问题似乎与“保存设置”功能中的一个错误有关，该错误可能无意中保存了 ControlNet 图像，导致其被持续使用。重新加载软件的尝试未能解决此问题。
-
AI图像生成：保持多主体身份
这篇Reddit帖子讨论了在AI生成的图像中保持多个主体身份一致性的技术，特别是在使用单一参考图像时。用户正在寻求关于工作流程和方法的建议，以确保在各种姿势和场景中，个体角色都能保持可识别性。讨论涉及流行的图像生成模型和工具，如Stable Diffusion、DALL·E 3、Midjourney，以及相关的技术，如ControlNet、Lora和DreamBooth。