Stable Diffusion 3
PulseAugur coverage of Stable Diffusion 3 — every cluster mentioning Stable Diffusion 3 across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
Nexus模型提供与SDXL相当的高效文本到图像生成
研究人员推出了一种新颖的文本到图像生成模型Nexus，旨在提高效率。Nexus集成了稀疏架构、线性复杂度和低比特量化，结合了MoE前馈层和门控DeltaNet注意力。这种方法使Nexus在生成质量上可与SDXL和Stable Diffusion 3等成熟模型相媲美，同时显著提高了推理速度并降低了内存需求。在COCO和Laion数据集上进行的实验验证了其有效性。
-
新研究为文本到图像 AI 提供高级控制和安全性
两篇新研究论文提出了增强文本到图像生成模型控制和安全性的新颖方法。第一种方法 DiSCO，通过对比评分优化提示，提供了一种黑盒防御来防止生成不安全内容（NSFW），在保持图像质量的同时显著减少了有害输出。第二种方法 Concept Guidance (CoG) 是一种无需训练的方法，通过强化扩散模型中与概念相关的层来精确控制图像生成，在不改变模型本身的情况下提高了美学吸引力和局部连贯性。
-
新的SNR-Edit框架增强了无反演图像编辑
研究人员开发了SNR-Edit，一种使用流 기반生成模型进行无反演图像编辑的新框架。该方法通过采用结构感知噪声校正，将分割约束注入初始噪声，从而解决了现有方法的局限性。该技术将源轨迹锚定到真实图像的隐式反演位置，减少了漂移并保持了结构完整性，而无需调整模型。在PIE-Bench和SNR-Bench等基准上的评估表明，SNR-Edit具有最小的开销，效果显著。
-
新的c-rectified flow框架为图像生成提供最优传输
一篇新论文介绍了一种名为“c-rectified flow”的成本感知框架，用于大规模图像生成，并提供了计算和统计保证。该方法旨在改进FLUX和Stable Diffusion 3等系统中使用的现有rectified flow技术，在特定假设下确保收敛到最优传输耦合。研究还建立了定量的收敛速率，并证明了最优传输的近乎参数的估计速率。
-
新的缓存方法加速扩散模型推理，延迟最多可降低 6.7 倍
研究人员开发了新的方法，通过智能缓存和重用中间特征来加速扩散模型推理。OnlineCache 学习动态缓存策略和误差校正，以根据提示的复杂性和时间步的误差敏感性来调整资源分配，速度最多可提升 3 倍。FeatFix 专注于局部精确特征校正，重用已验证的特征来重置残差并减少下游误差，速度最多可提升 6.7 倍。OmniCache 采用多维分层缓存框架，利用帧内、帧间和去噪步骤冗余等各种冗余源来减少延迟，最多可降低 35%，同时不影响质量。
-
新的 FairFlow 框架解决了文本到图像 AI 中的刻板印象偏见
研究人员开发了 FairFlow，一个旨在解决文本到图像扩散模型（特别是多模态扩散 Transformer (MM-DiTs)）中刻板印象偏见的新框架。该研究确定了这些模型中充当“语义中心”并从文本提示传播偏见到视觉输出的特定层。FairFlow 在推理过程中干预这些确定的中心，注入学习到的“公平方向”来中和与性别、种族和交叉性相关的偏见，而不会显著影响生成质量或推理速度。
-
UltraImageGen框架实现高效超高分辨率图像生成
研究人员开发了UltraImageGen，一个旨在克服当前文本到图像扩散模型在生成超高分辨率图像方面局限性的新框架。通过采用具有低分辨率全局引导的分层局部注意力机制，该系统将高分辨率潜在变量划分为更小的窗口，将计算复杂度从二次方降低到接近线性。这种方法结合轻量级LoRA适配以实现语义一致性，能够以超过8K的分辨率合成图像，与FLUX和SD3等现有模型相比，速度显著加快，内存使用量也大大减少。
-
Momentum Guidance 提升流模型图像生成质量
研究人员推出了一种名为 Momentum Guidance (MG) 的新技术，旨在提升流模型生成的图像质量。MG 通过在 ODE 轨迹上推断当前速度来工作，在保持每步标准计算成本（一次评估）的同时提高了样本质量。该方法在 ImageNet-256 等基准测试中，在 Fréchet inception distance (FID) 等指标上取得了显著改进，并证明了其在应用于 Stable Diffusion 3 和 FLUX.1-de…
-
阿里巴巴发布开源视频生成套件 Wan 2.1
阿里巴巴的 Wan 团队发布了 Wan 2.1，这是一个开源视频生成模型套件，旨在让高质量视频生成更加易于获取。该套件包括文本到视频、图像到视频和视频编辑功能，其参数大小针对高端和消费级 GPU 进行了优化。Wan 2.1 采用了一种 Diffusion Transformer 架构，并配备了一种新颖的视频变分自编码器，该编码器可保持时间因果关系以减少闪烁伪影，并支持中文和英文文本提示。
-
新方法可在无需重新训练的情况下实现文本和图像到图像生成
研究人员开发了TF-TI2I，一种新颖的文本和图像到图像生成方法，可以在无需进一步训练的情况下适配现有的文本到图像模型。该方法利用MM-DiT架构，使文本标记能够从视觉标记中隐式学习视觉信息。关键技术包括用于选择性信息共享的参考上下文掩码（Reference Contextual Masking）和用于缓解分布偏移的赢者通吃模块（Winner-Takes-All module）。该团队还引入了FG-TI2I Bench，一个旨在评估文…
-
CustomShift通过Stable Diffusion 3增强图像定制
研究人员推出了一种新颖的双分支架构CustomShift，用于文本到图像生成中的主体驱动图像定制。该方法基于Stable Diffusion 3，通过将定制表述为条件注意力分布迁移来解决现有方法的局限性。CustomShift旨在通过对齐参考图像特征与潜在表示，并整合文本和参考线索，来同时提高语义保真度和主体一致性。
-
ComfyUI-PiD 更新增加了原生模型支持和 FP8 精度
ComfyUI 的一个自定义节点 ComfyUI-PiD 已更新，支持原生 PixelDiT/PiD 模型加载和 FP8 精度。此次更新消除了对旧加载方法的依赖，并与 ComfyUI 的原生模型文件夹集成。新功能包括一个仅图像的平铺放大器节点，以及对 SD3、SDXL 和 Qwen-Image 等各种骨干网络的支持，并附带即用型示例工作流。
-
新方法解决文本到图像模型中的提示遗忘问题
研究人员在用于文本到图像生成的多模态扩散 Transformer (MMDiTs) 中发现了一个“提示遗忘”问题。这种现象发生是因为文本提示的语义表示在穿过模型更深层时会降级。为了解决这个问题，提出了一种名为“提示再注入”的新型无训练方法，该方法将早期层的提示表示重新引入到后期层。在 SD3、SD3.5 和 FLUX.1 等模型上进行的实验表明，该技术提高了指令遵循能力和整体生成质量。
-
ComfyUI 将完整图像生成管线集成到单一“Image Oasis”节点中
ComfyUI 发布了一个名为 Image Oasis 的全新一体化节点，将 50 多个独立节点整合到一个单一、用户友好的界面中。该节点简化了从模型加载、架构切换到 LoRA 堆叠和放大处理的整个图像生成管线。它还具有一个由本地 GGUF LLM 驱动的可选集成提示增强器，为 ComfyUI 中的图像创建提供了全面的解决方案。
-
Ideogram发布开源Ideogram 4模型，支持2K分辨率
Ideogram发布了Ideogram 4，一个在设计导向任务和文本渲染方面表现出色的开源文本到图像模型。该模型提供原生2K分辨率以及边界框控制和结构化JSON提示等高级功能。在Design Arena和ContraLabs等基准测试中，它在开源模型中表现最佳，使其成为专有系统的有力竞争者。
-
新方法增强扩散模型中的文本到图像对齐
研究人员开发了一种名为Alignment-Guided Score Matching的新方法，以提高扩散模型中文本到图像生成的准确性。该技术通过将对比度对齐引导直接集成到分数匹配目标中来优化软文本令牌，解决了先前对比度学习方法可能导致的过度计数和重复的局限性。所提出的方法在GenEval基准测试上实现了与SoftREPA等现有技术相当的结果，同时显著减少了失败案例，在计数准确性方面提高了35%以上。该方法与SD1.5、SDXL和SD3…
-
用户寻求AI工具将草图转换为图像
一位Reddit用户正在寻求AI工具的推荐，这些工具可以将手绘草图转换为照片图像，同时保留原始构图。他熟悉Stable Diffusion XL和ControlNet等旧模型，但不知道最新的进展。由于没有强大的电脑，用户更喜欢可靠的在线服务。
-
新数据集和方法提升AI生成图像检测能力
研究人员开发了新的方法和数据集来改进AI生成图像的检测，以应对日益复杂的合成媒体带来的挑战。一种方法引入了MS COCOAI，这是一个包含近10万张真实和由Stable Diffusion、DALL-E 3等模型生成的合成图像的大型数据集，能够对图像来源进行分类并识别具体生成器。另一种方法CoDA利用颜色分布分析创建了一个高效且可泛化的检测器，即使在面对未见过生成器和不同领域时也能表现良好。第三个框架PROBE则主动探索生成过程，创建…
-
LLM框架为AI图像生成器打造电影化提示
一位用户开发了一个框架，将一个大型语言模型转变为AI图像生成的“视觉提示架构师”。该框架指导LLM更像电影导演和摄影师一样工作，专注于构图、情感一致性以及理解不同图像模型的特定能力。目标是利用LLM的规划能力，而不是简单的关键词生成，从而生成更连贯、更具电影感、不那么泛泛的AI生成图像。
-
NVIDIA 的 PiD 解码器集成到 ComfyUI 中，以增强图像放大
NVIDIA 的像素扩散解码器 (PiD) 方法正通过自定义节点集成到 ComfyUI 中，从而实现解码和放大过程的结合。该方法将潜在图像解码视为条件像素扩散，为更高分辨率提供更高质量。实验性节点支持各种 NVIDIA 检查点，并包含用于降低 VRAM 使用量和文本提示辅助的功能。