image-to-video generation
PulseAugur coverage of image-to-video generation — every cluster mentioning image-to-video generation across labs, papers, and developer communities, ranked by signal.
-
研究比较了多主体视频生成的直接、并行和顺序方法
本文探讨了从单个图像和文本提示生成具有多个主体的视频的三种不同方法：直接生成、并行生成和顺序生成。直接生成尝试同时合成所有主体和运动，而并行生成则独立创建每个主体，然后再将它们组合起来，这可能会牺牲主体间的上下文。顺序生成则逐步构建视频，逐个引入主体，这可以保留场景上下文，但对排序和错误传播很敏感。该研究根据外观保持度、运动保真度、时间一致性和主体间连贯性评估了这些方法，为可控多主体视频生成提供了各自优缺点的见解。
-
新的Anti-Prompt方法可保护图像免遭未经授权的视频生成
研究人员开发了一种名为Anti-Prompt的新方法，用于保护图像免遭文本引导生成模型未经授权地将其动画化为视频。该技术向图像引入了细微的、不易察觉的扰动，当图像用于根据文本提示生成视频时，会导致显著的视觉不一致和结构性故障。Anti-Prompt通过削弱模型对文本引导的依赖性并加强其仅视觉处理路径来发挥作用，利用了I2V模型在没有文本提示时表现不佳的观察结果。使用一种分析生成伪影和不一致性的新颖协议来评估此保护的有效性，证明了其在不…
-
新的防御机制VPA-Guard解决了AI视频生成中的视觉提示攻击问题
一篇新研究论文介绍VPA-Guard，这是一个旨在保护图像到视频生成模型免受恶意视觉提示攻击的防御框架。这些攻击利用箭头或表情符号等视觉线索来操纵模型生成有害内容。该论文还提出了VVA-Bench，这是第一个专门用于评估这些以视觉为中心的提示攻击的基准测试。实验表明，当前最先进的模型极易受到攻击，但VPA-Guard在保持模型效用的同时，能有效降低攻击成功率和有害性得分。