text-to-image diffusion models
PulseAugur coverage of text-to-image diffusion models — every cluster mentioning text-to-image diffusion models across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新的PersGuard框架使用模型后门来保护文本到图像AI
研究人员开发了PersGuard，一个旨在防止文本到图像扩散模型恶意个性化的新框架。与需要扰乱训练图像的先前方法不同，PersGuard在模型发布前将保护性后门嵌入模型中。这些后门确保如果模型在受保护的图像上进行微调，它将生成预定义的保护性输出，而未受保护的图像则导致正常的模型效用。实验表明，与现有方法相比，PersGuard提供了卓越的隐私保护。
-
新的TILDE方法实现了文本到图像模型中的概念遗忘
研究人员开发了一种新的概念遗忘方法TILDE（TILt-based Distributional Erasure），用于文本到图像扩散模型。该技术解决了在不影响模型生成良性内容整体质量和多样性的情况下，移除特定概念（如受版权保护的风格或私人信息）的挑战。TILDE将遗忘问题构建为分布对齐问题，旨在抑制不需要的概念，同时不负面影响模型生成其他广泛内容的能力。
-
新的AEGIS防御机制应对文本到图像模型中的视觉同义词攻击 · 跟踪3个来源
研究人员开发了AEGIS，这是一种新颖的防御机制，旨在对抗文本到图像扩散模型中的视觉同义词攻击（VSA）。与以往专注于明确不安全概念的方法不同，AEGIS动态追踪禁止的语义在生成过程中如何出现。通过识别充当不安全视觉语义瓶颈的特定注意力头，AEGIS应用有针对性的排斥来提高安全性和可用性，而不会压制良性概念。该系统已在SD 1.4和SD 2.1等模型上证明了有效性，显著降低了攻击成功率。
-
新框架为AI数据生成物理精确的镜像反射
研究人员开发了PhysMirror，一个旨在生成图像中物理精确镜像反射的新框架。该方法解决了当前文本到图像扩散模型的一个关键限制，这些模型经常产生几何上不正确的反射，阻碍了它们在具身AI中用于合成数据生成。PhysMirror通过将提示的对象提升到3D网格并模拟镜像场景，整合了显式的3D空间先验，提取精确的2D条件元素（如深度和分割图）来指导扩散模型。该框架还引入了一个新颖的指标，镜像一致性分数（MCS），以自动量化反射的物理正确性。
-
新的SAGE方法改进了文本到图像模型的安全对齐
一篇新发表在arXiv上的研究论文介绍了一种名为结构感知几何正则化（SAGE）的新方法，用于改进文本到图像扩散模型的安全对齐。目前的对齐技术常常依赖FID和CLIPScore等粗略指标，从而产生“高实用性错觉”，掩盖了语义准确性的显著下降。SAGE通过显式保留文本编码器提示嵌入的分布和关系结构来解决这个问题，从而在TIFA测量的结构化实用性方面取得了显著改进，同时保持了强大的安全性能。
-
新基准数据集旨在检测合成灾难图像
研究人员推出了“Forged Calamity”，一个旨在提高文本到图像扩散模型生成的合成灾难图像检测能力的新基准数据集。该数据集包含 30,000 张图像，其中 6,000 张为真实图像，24,000 张为由四种不同扩散模型生成的合成样本。实验表明，当前的取证方法在泛化能力方面存在不足，在遇到来自未见过生成器或灾难类型的图像时，准确率会显著下降，这凸显了对更鲁棒、与模型无关的检测技术的需求。
-
ZIPP 使能够使用基于角色的 LLM 提示进行个性化图像生成
研究人员开发了 ZIPP，一种新颖的零样本图像个性化方法，该方法将文本到图像的扩散模型条件化为自然语言角色。这种方法无需任何用户特定数据或模型权重更新即可实现个性化图像生成，解决了冷启动问题和上下文相关的偏好。ZIPP 利用大型语言模型从角色的角度重写提示，并使用在大型 Reddit 交互图上训练的图注意力网络大规模挖掘角色。该系统在新的基准 ZIPBench 上进行了评估，与通用生成和微调基线相比，在个性化方面取得了显著改进，并减少…
-
新型后门绕过AI概念擦除，暴露有害内容
研究人员发现了一种针对文本到图像扩散模型的概念擦除技术（concept erasure techniques）的重大漏洞，称为擦除规避后门（Erasure Evasion Backdoor, EEB）。该后门允许攻击者嵌入一个与待删除概念相关联的隐藏触发器，从而确保即使在尝试擦除后，仍能生成与该概念相关的有害内容。EEB被证明对多种最先进的擦除方法都有效，在生成不受欢迎的输出方面取得了很高的成功率，包括名人肖像和露骨图像。
-
扩散模型驱动新的无监督视觉对象跟踪方法
研究人员开发了一种名为Diff-Tracking的新方法，该方法利用文本到图像的扩散模型进行无监督视觉对象跟踪。该方法利用扩散模型中的交叉注意力机制将文本提示与图像区域对齐，从而无需标注训练数据即可识别和跟踪对象。该系统包括一个初始提示学习器来捕获第一帧中的目标，以及一个在线提示更新器，根据运动信息进行跟踪，并在六个具有挑战性的数据集上证明了其有效性。
-
SeqLoRA通过双层优化推进多概念图像生成
研究人员开发了SeqLoRA，一种用于文本到图像扩散模型参数高效微调的新型框架。该方法通过采用双层优化联合训练LoRA因子来解决组合多个自定义概念的挑战，从而最大限度地减少表示干扰。SeqLoRA在生成多达101个概念的图像方面，展示了改进的身份保持能力和可扩展性，优于现有的模块化方法。
-
新的Hydra框架稳定了扩散模型中的多概念后门攻击
研究人员开发了Hydra，一个旨在稳定文本到图像扩散模型中多概念后门注入的框架。这一点至关重要，因为开源模型经常被微调和重新分发，导致潜在的冲突和因累积的后门行为而导致的质量下降。Hydra通过演进与目标概念对齐但对其他概念保持稳定的文本编码器触发器来解决这个问题，并使用多任务微调结合正则化来增强训练稳定性。实验表明，Hydra在保持干净生成保真度的同时，实现了高攻击成功率。