text-to-image diffusion models
PulseAugur coverage of text-to-image diffusion models — every cluster mentioning text-to-image diffusion models across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的CLASP方法可实现扩散模型的持续个性化
研究人员开发了CLASP，一种持续个性化文本到图像扩散模型的新颖方法。该方法利用单个固定大小的超网络来生成特定概念的适应性调整，而无需在学习新概念时扩展模型的参数占地面积。CLASP还集成了空间控制，使用户能够指定个性化概念在生成图像中的出现位置。实验表明，CLASP能有效保留先前学习的概念并提供可靠的空间定位，在长概念流的可扩展性方面优于现有方法。
-
新的NDDL框架可防御文本到图像模型的后门攻击
研究人员开发了一个名为正常扩散动力学学习（NDDL）的新防御框架，以对抗文本到图像扩散模型中的后门攻击。与依赖检测特定异常模式的先前方法不同，NDDL专注于扩散轨迹的转换动力学。它仅使用良性样本学习这些动力学的正常演变，并通过检测与此学习到的正常行为的偏差来识别后门。该框架还提供了一种通过替换低语义词来定位后门触发器的方法。
-
新研究发现文本到图像模型中的概念脆性
研究人员在文本到图像扩散模型中发现了一种称为“对象依赖的概念脆性”的现象，其中对象提示的微小变化会导致生成目标概念时的一致性失败。他们开发了一个使用稀疏自编码器分析去噪轨迹并识别概念缺陷的框架。该框架允许采用一种轻量级的、推理时期的纠正策略，将去噪特征插值到类别级概念原型，从而显著提高概念一致性和文本保真度。
-
DICE技术通过优化嵌入来增强文本到图像生成
研究人员开发了一种名为DICE（Distilling Classifier-Free Guidance into Text Embeddings）的新技术，以改进文本到图像生成。DICE优化文本嵌入，使其能够模仿无分类器引导（CFG）的效果，而无需相关的计算成本。该方法旨在提高生成图像与文本提示的对齐度，同时显著加快采样过程。在Stable Diffusion v1.5、SDXL和PixArt等模型上的实验证明了DICE在保留语义信息…
-
Gaussian Core LoRA 增强了文本到图像扩散模型中的概念擦除
研究人员推出了一种名为 Gaussian Core LoRA 的新颖框架，旨在改进文本到图像扩散模型中的概念擦除。该方法通过根据目标概念内的特定语义原型调整擦除方向来解决现有技术的局限性。通过将高斯混合模型拟合到提示特征，Gaussian Core LoRA 动态调整生成以抑制不需要的内容，同时保持视觉质量和良性语义。实验表明，与基线方法相比，攻击成功率显著降低，图像质量指标得到改善，并证明了其对各种扩散模型的鲁棒性和兼容性。
-
新的PEPPER防御机制可对抗文本到图像模型的后门攻击
研究人员开发了一种名为PEPPER（PErcePtion-Guided Perturbation，感知引导扰动）的新防御机制，用于对抗文本到图像扩散模型中的后门攻击。这些攻击通过在提示中嵌入触发器来操纵模型输出，使其产生有害内容。PEPPER通过重写输入标题，使其在视觉上相似但语义上远离原始标题，从而在无需模型重新训练或访问权重的情况下破坏嵌入的触发器。该方法在对抗基于文本编码器的攻击方面表现出特别的有效性，提高了鲁棒性并保持了生成质…
-
新工具包评估文本到图像扩散模型中的 NSFW 内容擦除
研究人员开发了一个综合工具包，并进行了一项系统性研究，以评估从文本到图像扩散模型中擦除不安全内容 (NSFW) 的方法。该研究旨在为在各种场景中有效应用这些擦除技术提供实用指导。这项工作旨在增进对扩散模型内容安全的理解，并为这一关键领域的未来研究奠定基础。
-
PoseAdapter框架提升多目标图像生成精度
研究人员开发了PoseAdapter，一个旨在提高复杂多目标场景图像生成精度的创新框架。该系统利用高效的条件布局，整合了单独的对象标题、2D边界框和3D角度，以建立精确的空间和角度锚点。PoseAdapter通过上下文感知双流表示解决了严格实例隔离与全局连贯性之间的平衡问题，该表示将局部和关系场景令牌注入现代MM-DiT架构。与现有方法相比，该框架在空间精度、方向精度和多目标视觉保真度方面表现出卓越的性能。
-
新方法学习文本到图像扩散模型的动态引导时间表
研究人员开发了一种学习文本到图像扩散模型中动态引导时间表的新颖方法。当前模型通常使用静态的全局引导尺度，这可能不是最优的并导致伪影。这种新方法训练一个判别器来估计真实分布和引导分布之间的时间依赖性密度比，从而使生成器网络能够预测最优的、状态依赖的引导尺度。在文本到图像生成基准上的实证结果表明，该方法优于启发式时间表和先前动态引导技术。
-
新方法可在无水印情况下为AI图像模型打上指纹
研究人员开发了一种新颖的方法，可以在不嵌入水印的情况下为文本到图像的扩散模型打上指纹。这项技术在arXiv预印本中有所详述，它利用了一种称为“塌缩生成”的现象，在这种现象中，特定的输入条件会在不同的随机种子下持续生成相似的图像。这些模型依赖的签名可用于验证所有权，即使模型是通过黑盒API访问或经过微调的。该框架已证明在区分不同扩散模型和抵御混淆尝试方面具有有效性。
-
新的PEAK框架可精确擦除文本到图像模型中的概念
研究人员开发了PEAK，一个用于精确持久地擦除文本到图像扩散模型中概念的新框架。该方法利用k稀疏自编码器（kSAEs）将密集表示分解为可解释的稀疏特征。通过识别并选择性地抑制目标特定特征，同时保留其他特征，PEAK旨在防止意外的语义干扰和被擦除概念的对抗性恢复。实验表明，PEAK显著减少了敏感内容的检测，并保持了生成质量。
-
新的OPAD框架为一步扩散模型提供可靠的个性化
研究人员开发了一个名为OPAD（One-step Personalized Adversarial Distillation）的新框架，以改进一步文本到图像扩散模型的个性化。现有方法在定制这些更快的模型时遇到困难，常常导致效果不佳。OPAD结合了教师-学生蒸馏和对抗性监督，使一步学生模型能够从多步教师模型中学习，同时与真实图像分布对齐。这种方法首次在保持一步扩散模型效率的同时，可靠地实现了高质量的个性化。
-
新方法在生成过程中自适应文本到图像模型
研究人员推出了一种名为“循环内模型自适应”（IMA）的新型文本到图像扩散模型方法。该技术允许模型在图像生成过程本身中适应来自参考图像的特定主题，而无需预训练或长时间微调。IMA 利用 DDIM 反演链和文本到图像生成链，并通过耦合潜在噪声损失进行引导，该损失可保留主题身份和文本提示对齐，从而获得高保真结果。
-
新研究解决文本到视频和文本到图像扩散模型的局限性
两篇新研究论文解决了扩散模型在图像和视频生成方面的挑战。第一篇TPD引入了一个无需训练的框架，通过恢复被抑制的后期事件信号来改进文本到视频模型，从而在不重新训练的情况下增强时序连贯性和视觉保真度。第二篇论文Dualin提出了一种用于文本到图像模型的两阶段方法，该方法联合恢复语义提示和潜在噪声，旨在提高视觉保真度并实现精确的图像编辑。
-
新框架UniNDM针对AI图像生成中的隐式性内容
研究人员开发了UniNDM，一个旨在检测和缓解文本到图像扩散模型生成不当性内容的新颖框架。该系统利用扩散过程中噪声的固有属性，识别出早期噪声可以有效地区分正常内容和露骨内容。UniNDM包含一个轻量级的基于噪声的检测器和一个自适应的负面提示机制，通过大型语言模型进行增强，以处理各种隐式提示。该框架在U-Net和Diffusion Transformer架构上都显示出比现有方法显著的改进。
-
新的PersGuard框架使用模型后门来保护文本到图像AI
研究人员开发了PersGuard，一个旨在防止文本到图像扩散模型恶意个性化的新框架。与需要扰乱训练图像的先前方法不同，PersGuard在模型发布前将保护性后门嵌入模型中。这些后门确保如果模型在受保护的图像上进行微调，它将生成预定义的保护性输出，而未受保护的图像则导致正常的模型效用。实验表明，与现有方法相比，PersGuard提供了卓越的隐私保护。
-
新的TILDE方法实现了文本到图像模型中的概念遗忘
研究人员开发了一种新的概念遗忘方法TILDE（TILt-based Distributional Erasure），用于文本到图像扩散模型。该技术解决了在不影响模型生成良性内容整体质量和多样性的情况下，移除特定概念（如受版权保护的风格或私人信息）的挑战。TILDE将遗忘问题构建为分布对齐问题，旨在抑制不需要的概念，同时不负面影响模型生成其他广泛内容的能力。
-
新的AEGIS防御机制应对文本到图像模型中的视觉同义词攻击 · 跟踪3个来源
研究人员开发了AEGIS，这是一种新颖的防御机制，旨在对抗文本到图像扩散模型中的视觉同义词攻击（VSA）。与以往专注于明确不安全概念的方法不同，AEGIS动态追踪禁止的语义在生成过程中如何出现。通过识别充当不安全视觉语义瓶颈的特定注意力头，AEGIS应用有针对性的排斥来提高安全性和可用性，而不会压制良性概念。该系统已在SD 1.4和SD 2.1等模型上证明了有效性，显著降低了攻击成功率。
-
新框架为AI数据生成物理精确的镜像反射
研究人员开发了PhysMirror，一个旨在生成图像中物理精确镜像反射的新框架。该方法解决了当前文本到图像扩散模型的一个关键限制，这些模型经常产生几何上不正确的反射，阻碍了它们在具身AI中用于合成数据生成。PhysMirror通过将提示的对象提升到3D网格并模拟镜像场景，整合了显式的3D空间先验，提取精确的2D条件元素（如深度和分割图）来指导扩散模型。该框架还引入了一个新颖的指标，镜像一致性分数（MCS），以自动量化反射的物理正确性。
-
新的SAGE方法改进了文本到图像模型的安全对齐
一篇新发表在arXiv上的研究论文介绍了一种名为结构感知几何正则化（SAGE）的新方法，用于改进文本到图像扩散模型的安全对齐。目前的对齐技术常常依赖FID和CLIPScore等粗略指标，从而产生“高实用性错觉”，掩盖了语义准确性的显著下降。SAGE通过显式保留文本编码器提示嵌入的分布和关系结构来解决这个问题，从而在TIFA测量的结构化实用性方面取得了显著改进，同时保持了强大的安全性能。