Stable Diffusion 3
PulseAugur coverage of Stable Diffusion 3 — every cluster mentioning Stable Diffusion 3 across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
-
新的 FairFlow 框架解决了文本到图像 AI 中的刻板印象偏见
研究人员开发了 FairFlow，一个旨在解决文本到图像扩散模型（特别是多模态扩散 Transformer (MM-DiTs)）中刻板印象偏见的新框架。该研究确定了这些模型中充当“语义中心”并从文本提示传播偏见到视觉输出的特定层。FairFlow 在推理过程中干预这些确定的中心，注入学习到的“公平方向”来中和与性别、种族和交叉性相关的偏见，而不会显著影响生成质量或推理速度。
-
UltraImageGen框架实现高效超高分辨率图像生成
研究人员开发了UltraImageGen，一个旨在克服当前文本到图像扩散模型在生成超高分辨率图像方面局限性的新框架。通过采用具有低分辨率全局引导的分层局部注意力机制，该系统将高分辨率潜在变量划分为更小的窗口，将计算复杂度从二次方降低到接近线性。这种方法结合轻量级LoRA适配以实现语义一致性，能够以超过8K的分辨率合成图像，与FLUX和SD3等现有模型相比，速度显著加快，内存使用量也大大减少。
-
Momentum Guidance 提升流模型图像生成质量
研究人员推出了一种名为 Momentum Guidance (MG) 的新技术，旨在提升流模型生成的图像质量。MG 通过在 ODE 轨迹上推断当前速度来工作，在保持每步标准计算成本（一次评估）的同时提高了样本质量。该方法在 ImageNet-256 等基准测试中，在 Fréchet inception distance (FID) 等指标上取得了显著改进，并证明了其在应用于 Stable Diffusion 3 和 FLUX.1-de…
-
阿里巴巴发布开源视频生成套件 Wan 2.1
阿里巴巴的 Wan 团队发布了 Wan 2.1，这是一个开源视频生成模型套件，旨在让高质量视频生成更加易于获取。该套件包括文本到视频、图像到视频和视频编辑功能，其参数大小针对高端和消费级 GPU 进行了优化。Wan 2.1 采用了一种 Diffusion Transformer 架构，并配备了一种新颖的视频变分自编码器，该编码器可保持时间因果关系以减少闪烁伪影，并支持中文和英文文本提示。
-
新方法可在无需重新训练的情况下实现文本和图像到图像生成
研究人员开发了TF-TI2I，一种新颖的文本和图像到图像生成方法，可以在无需进一步训练的情况下适配现有的文本到图像模型。该方法利用MM-DiT架构，使文本标记能够从视觉标记中隐式学习视觉信息。关键技术包括用于选择性信息共享的参考上下文掩码（Reference Contextual Masking）和用于缓解分布偏移的赢者通吃模块（Winner-Takes-All module）。该团队还引入了FG-TI2I Bench，一个旨在评估文…
-
CustomShift通过Stable Diffusion 3增强图像定制
研究人员推出了一种新颖的双分支架构CustomShift，用于文本到图像生成中的主体驱动图像定制。该方法基于Stable Diffusion 3，通过将定制表述为条件注意力分布迁移来解决现有方法的局限性。CustomShift旨在通过对齐参考图像特征与潜在表示，并整合文本和参考线索，来同时提高语义保真度和主体一致性。
-
ComfyUI-PiD 更新增加了原生模型支持和 FP8 精度
ComfyUI 的一个自定义节点 ComfyUI-PiD 已更新，支持原生 PixelDiT/PiD 模型加载和 FP8 精度。此次更新消除了对旧加载方法的依赖，并与 ComfyUI 的原生模型文件夹集成。新功能包括一个仅图像的平铺放大器节点，以及对 SD3、SDXL 和 Qwen-Image 等各种骨干网络的支持，并附带即用型示例工作流。
-
新方法解决文本到图像模型中的提示遗忘问题
研究人员在用于文本到图像生成的多模态扩散 Transformer (MMDiTs) 中发现了一个“提示遗忘”问题。这种现象发生是因为文本提示的语义表示在穿过模型更深层时会降级。为了解决这个问题，提出了一种名为“提示再注入”的新型无训练方法，该方法将早期层的提示表示重新引入到后期层。在 SD3、SD3.5 和 FLUX.1 等模型上进行的实验表明，该技术提高了指令遵循能力和整体生成质量。
-
ComfyUI 将完整图像生成管线集成到单一“Image Oasis”节点中
ComfyUI 发布了一个名为 Image Oasis 的全新一体化节点，将 50 多个独立节点整合到一个单一、用户友好的界面中。该节点简化了从模型加载、架构切换到 LoRA 堆叠和放大处理的整个图像生成管线。它还具有一个由本地 GGUF LLM 驱动的可选集成提示增强器，为 ComfyUI 中的图像创建提供了全面的解决方案。
-
Ideogram发布开源Ideogram 4模型，支持2K分辨率
Ideogram发布了Ideogram 4，一个在设计导向任务和文本渲染方面表现出色的开源文本到图像模型。该模型提供原生2K分辨率以及边界框控制和结构化JSON提示等高级功能。在Design Arena和ContraLabs等基准测试中，它在开源模型中表现最佳，使其成为专有系统的有力竞争者。
-
新方法增强扩散模型中的文本到图像对齐
研究人员开发了一种名为Alignment-Guided Score Matching的新方法，以提高扩散模型中文本到图像生成的准确性。该技术通过将对比度对齐引导直接集成到分数匹配目标中来优化软文本令牌，解决了先前对比度学习方法可能导致的过度计数和重复的局限性。所提出的方法在GenEval基准测试上实现了与SoftREPA等现有技术相当的结果，同时显著减少了失败案例，在计数准确性方面提高了35%以上。该方法与SD1.5、SDXL和SD3…
-
用户寻求AI工具将草图转换为图像
一位Reddit用户正在寻求AI工具的推荐，这些工具可以将手绘草图转换为照片图像，同时保留原始构图。他熟悉Stable Diffusion XL和ControlNet等旧模型，但不知道最新的进展。由于没有强大的电脑，用户更喜欢可靠的在线服务。
-
新数据集和方法提升AI生成图像检测能力
研究人员开发了新的方法和数据集来改进AI生成图像的检测，以应对日益复杂的合成媒体带来的挑战。一种方法引入了MS COCOAI，这是一个包含近10万张真实和由Stable Diffusion、DALL-E 3等模型生成的合成图像的大型数据集，能够对图像来源进行分类并识别具体生成器。另一种方法CoDA利用颜色分布分析创建了一个高效且可泛化的检测器，即使在面对未见过生成器和不同领域时也能表现良好。第三个框架PROBE则主动探索生成过程，创建…
-
LLM框架为AI图像生成器打造电影化提示
一位用户开发了一个框架，将一个大型语言模型转变为AI图像生成的“视觉提示架构师”。该框架指导LLM更像电影导演和摄影师一样工作，专注于构图、情感一致性以及理解不同图像模型的特定能力。目标是利用LLM的规划能力，而不是简单的关键词生成，从而生成更连贯、更具电影感、不那么泛泛的AI生成图像。
-
NVIDIA 的 PiD 解码器集成到 ComfyUI 中，以增强图像放大
NVIDIA 的像素扩散解码器 (PiD) 方法正通过自定义节点集成到 ComfyUI 中，从而实现解码和放大过程的结合。该方法将潜在图像解码视为条件像素扩散，为更高分辨率提供更高质量。实验性节点支持各种 NVIDIA 检查点，并包含用于降低 VRAM 使用量和文本提示辅助的功能。
-
新框架增强文本到图像模型与人类偏好的对齐
研究人员开发了两个新颖的框架，DIDR和RTDMD，以改进文本到图像生成模型与人类偏好的对齐。DIDR（Diff-Instruct with Diffused Reward）是一个无数据框架，可在扩散轨迹的所有噪声水平上优化奖励，从而提高图像保真度。RTDMD是一种两阶段方法，将分布匹配蒸馏与奖励引导的强化学习相结合，用于少步生成器。这两种方法在偏好、美学和构图指标方面都显示出显著的改进，其中RTDMD仅用几步推理即可在SD3、SD3…
-
新框架通过知识蒸馏创建轻量化扩散模型
研究人员开发了一个名为 LIFT and PLACE 的新知识蒸馏框架，以创建更高效的扩散模型。该方法通过使用粗到精的对齐策略，解决了学生模型模仿复杂教师模型时遇到的困难。实验表明，该方法在各种扩散模型类型和任务中都有效，即使在显著压缩学生模型的情况下，FID得分也达到了 15.73。
-
扩散 Transformer 推动图像生成和材料迁移发展
研究人员在用于图像生成和处理的扩散 Transformer (DiT) 架构方面取得了几项进展。其中一篇论文探讨了在像素空间 DiT 中使用寄存器令牌以提高收敛性和生成质量，发现它们能产生更清晰的特征图。另一篇论文提出了 HyperDiT，它使用超连接的跨尺度交互和寄存器来桥接语义和像素流形，以实现高保真生成。ElasticDiT 通过动态调整架构和使用稀疏注意力来专注于移动设备的效率，而 DreamSR 通过结合全局和局部文本特征来…