Stable Diffusion 3
PulseAugur coverage of Stable Diffusion 3 — every cluster mentioning Stable Diffusion 3 across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的 SuRe 框架缓解了图像风格化中的语义泄露
研究人员开发了一个名为 SuRe 的新框架,通过解决语义泄露问题来改进图像引导风格化。该方法侧重于调节扩散模型自注意力机制中的键值耦合。通过破坏然后逐步恢复这种对应关系,SuRe 旨在有效转移风格,同时不转移风格图像中不想要的语义内容。实验表明,SuRe 在包括 SD1.5、SDXL、SD3 和 FLUX.1-dev 在内的各种 Stable Diffusion 模型上增强了内容相似性,同时保持了具有竞争力的风格相似性。
-
新的SMC方法增强了流匹配模型的文本到图像生成
研究人员开发了一种新颖的推理时间缩放方法,称为噪声 पुनर्जीवन顺序蒙特卡洛(SMC),专门用于文本到图像流匹配模型。该技术解决了将依赖于随机提议的标准SMC应用于流匹配的确定性ODE的挑战。通过引入噪声 पुनर्जीवन和前瞻机制,该方法允许在不将采样器转换为随机微分方程的情况下进行改进的奖励引导生成。在Stable Diffusion 3、FLUX.1-dev和Z-Image等模型上的实验表明,在根据用户指定的奖励生成图像…
-
Flux 3 用户笔记与 SD3 身体恐怖相似
一位 Reddit 用户分享了他们使用 Flux 3 的体验,指出它让他们想起“SD3 身体恐怖”,但除此之外似乎很有前景。建议进一步测试以评估其能力。
-
新的强化学习框架SCOPE优化文本到图像提示
研究人员开发了SCOPE,一个新颖的强化学习框架,旨在通过优化提示重写来增强文本到图像生成。该方法基于组相对策略优化(GRPO),将策略更新与提示内的语义跨度对齐,从而在无需额外图像渲染的情况下提高生成质量。SCOPE在标准GRPO方面取得了显著的提升,在与Qwen Image、Stable Diffusion 3和Flux等模型进行测试时,在GeneVal和T2I-CompBench等基准测试中取得了显著的改进。
-
新的诊断工具揭示扩散模型中的控制-修复分离
研究人员开发了一种新的方法来诊断和控制文本到图像扩散模型中的失败,特别是在组合任务中。他们引入了一个仅文本的组合压力指数(CSI)来识别 SD1.5、SDXL 和 Stable Diffusion 3 等模型中常见与罕见的组合。他们的研究发现,虽然组合缺陷可以在去噪过程之前诊断出来,但揭示这些风险的具体坐标并不总是能改善生成的坐标,这表明诊断和控制之间存在分离。
-
AI的“开放权重”与“开源”之争仍在继续 · 已追踪2个来源
在AI领域,“开放权重”与“开源”之间的区别是一个持续争论的主题,许多模型在发布时提供了可访问的权重,但并未完全开源代码或训练数据。虽然下载模型变得越来越简单,但从根本上理解它们的创建过程和修改它们仍然具有挑战性。“开源AI定义”的批评者尚未提出一个被广泛接受的替代方案,而当前的AI政策似乎更侧重于单个模型组件及其许可证,而不是更广泛的定义。
-
新框架可准确归因合成图像,区分 Stable Diffusion 版本
研究人员开发了一种新颖的合成图像归因框架,在挑战性数据集上实现了高精度。他们的方法结合了多种人工智能架构,包括 FFT-ConvNeXt、DINOv2、CLIP 和 Xception,从频率、语义和取证等不同角度分析图像。为了提高对图像操纵的鲁棒性,他们采用了模拟真实世界后处理的广泛数据增强。该框架通过采用专用的二元分类器和类自适应置信度校准,专门解决了 Stable Diffusion 3 和 Stable Diffusion 3.…
-
ImageNet 增强技术可媲美用于文本到图像生成的大规模数据集
研究人员证明,仅使用 ImageNet 数据集,通过文本和图像增强,文本到图像生成模型就能达到高性能。这种方法挑战了依赖于大规模、网络抓取数据集的普遍的“越大越好”的范式。所提出的方法在 GenEval 和 DPGBench 等基准测试中,显著优于 FLUX 和 SD3 等模型,同时仅使用了训练数据和参数的一小部分。
-
微控制器上运行的微型 AI 图像生成器
一位开发者成功地在 RP2350 微控制器上实现了一个微型图像生成模型,该模型能够生成 128x128 像素的人脸图像。这个模型是一个潜在流 Transformer,拥有约 240 万至 400 万个参数,量化为 INT8,推理时间约为 20 秒。该实现包括条件生成和无配置引导等功能,展示了在资源受限硬件上的高级 AI 能力。
-
Nexus模型提供与SDXL相当的高效文本到图像生成
研究人员推出了一种新颖的文本到图像生成模型Nexus,旨在提高效率。Nexus集成了稀疏架构、线性复杂度和低比特量化,结合了MoE前馈层和门控DeltaNet注意力。这种方法使Nexus在生成质量上可与SDXL和Stable Diffusion 3等成熟模型相媲美,同时显著提高了推理速度并降低了内存需求。在COCO和Laion数据集上进行的实验验证了其有效性。
-
新研究为文本到图像 AI 提供高级控制和安全性
两篇新研究论文提出了增强文本到图像生成模型控制和安全性的新颖方法。第一种方法 DiSCO,通过对比评分优化提示,提供了一种黑盒防御来防止生成不安全内容(NSFW),在保持图像质量的同时显著减少了有害输出。第二种方法 Concept Guidance (CoG) 是一种无需训练的方法,通过强化扩散模型中与概念相关的层来精确控制图像生成,在不改变模型本身的情况下提高了美学吸引力和局部连贯性。
-
新的SNR-Edit框架增强了无反演图像编辑
研究人员开发了SNR-Edit,一种使用流 기반生成模型进行无反演图像编辑的新框架。该方法通过采用结构感知噪声校正,将分割约束注入初始噪声,从而解决了现有方法的局限性。该技术将源轨迹锚定到真实图像的隐式反演位置,减少了漂移并保持了结构完整性,而无需调整模型。在PIE-Bench和SNR-Bench等基准上的评估表明,SNR-Edit具有最小的开销,效果显著。
-
新的c-rectified flow框架为图像生成提供最优传输
一篇新论文介绍了一种名为“c-rectified flow”的成本感知框架,用于大规模图像生成,并提供了计算和统计保证。该方法旨在改进FLUX和Stable Diffusion 3等系统中使用的现有rectified flow技术,在特定假设下确保收敛到最优传输耦合。研究还建立了定量的收敛速率,并证明了最优传输的近乎参数的估计速率。
-
新的缓存方法加速扩散模型推理,延迟最多可降低 6.7 倍
研究人员开发了新的方法,通过智能缓存和重用中间特征来加速扩散模型推理。OnlineCache 学习动态缓存策略和误差校正,以根据提示的复杂性和时间步的误差敏感性来调整资源分配,速度最多可提升 3 倍。FeatFix 专注于局部精确特征校正,重用已验证的特征来重置残差并减少下游误差,速度最多可提升 6.7 倍。OmniCache 采用多维分层缓存框架,利用帧内、帧间和去噪步骤冗余等各种冗余源来减少延迟,最多可降低 35%,同时不影响质量。
-
新的 FairFlow 框架解决了文本到图像 AI 中的刻板印象偏见
研究人员开发了 FairFlow,一个旨在解决文本到图像扩散模型(特别是多模态扩散 Transformer (MM-DiTs))中刻板印象偏见的新框架。该研究确定了这些模型中充当“语义中心”并从文本提示传播偏见到视觉输出的特定层。FairFlow 在推理过程中干预这些确定的中心,注入学习到的“公平方向”来中和与性别、种族和交叉性相关的偏见,而不会显著影响生成质量或推理速度。
-
UltraImageGen框架实现高效超高分辨率图像生成
研究人员开发了UltraImageGen,一个旨在克服当前文本到图像扩散模型在生成超高分辨率图像方面局限性的新框架。通过采用具有低分辨率全局引导的分层局部注意力机制,该系统将高分辨率潜在变量划分为更小的窗口,将计算复杂度从二次方降低到接近线性。这种方法结合轻量级LoRA适配以实现语义一致性,能够以超过8K的分辨率合成图像,与FLUX和SD3等现有模型相比,速度显著加快,内存使用量也大大减少。
-
Momentum Guidance 提升流模型图像生成质量
研究人员推出了一种名为 Momentum Guidance (MG) 的新技术,旨在提升流模型生成的图像质量。MG 通过在 ODE 轨迹上推断当前速度来工作,在保持每步标准计算成本(一次评估)的同时提高了样本质量。该方法在 ImageNet-256 等基准测试中,在 Fréchet inception distance (FID) 等指标上取得了显著改进,并证明了其在应用于 Stable Diffusion 3 和 FLUX.1-de…
-
阿里巴巴发布开源视频生成套件 Wan 2.1
阿里巴巴的 Wan 团队发布了 Wan 2.1,这是一个开源视频生成模型套件,旨在让高质量视频生成更加易于获取。该套件包括文本到视频、图像到视频和视频编辑功能,其参数大小针对高端和消费级 GPU 进行了优化。Wan 2.1 采用了一种 Diffusion Transformer 架构,并配备了一种新颖的视频变分自编码器,该编码器可保持时间因果关系以减少闪烁伪影,并支持中文和英文文本提示。
-
新方法可在无需重新训练的情况下实现文本和图像到图像生成
研究人员开发了TF-TI2I,一种新颖的文本和图像到图像生成方法,可以在无需进一步训练的情况下适配现有的文本到图像模型。该方法利用MM-DiT架构,使文本标记能够从视觉标记中隐式学习视觉信息。关键技术包括用于选择性信息共享的参考上下文掩码(Reference Contextual Masking)和用于缓解分布偏移的赢者通吃模块(Winner-Takes-All module)。该团队还引入了FG-TI2I Bench,一个旨在评估文…
-
CustomShift通过Stable Diffusion 3增强图像定制
研究人员推出了一种新颖的双分支架构CustomShift,用于文本到图像生成中的主体驱动图像定制。该方法基于Stable Diffusion 3,通过将定制表述为条件注意力分布迁移来解决现有方法的局限性。CustomShift旨在通过对齐参考图像特征与潜在表示,并整合文本和参考线索,来同时提高语义保真度和主体一致性。