新的CAPE-T2V框架增强文本到视频生成的对齐

作者 PulseAugur 编辑部 · [1 个来源] · 2026-08-05 04:00

研究人员推出CAPE-T2V，一个旨在通过解决训练字幕和推理时提示之间的不匹配来改进文本到视频生成的新框架。该系统首先微调一个提示增强器（PE），从源字幕生成各种目标提示。随后，它使用这些增强的字幕微调文本到视频扩散变换器（DiT），确保PE的输出与DiT的训练数据之间更好的对齐。这种方法在StoryEval和VBench 2.0等基准测试中提高了性能，并显示出“PE-字幕差距”的减小。 AI

影响通过减小训练提示和推理提示之间的差距来提高文本到视频生成的质量。

排序理由该集群包含一篇详细介绍文本到视频生成新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 0 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群包含一篇详细介绍文本到视频生成新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: 56 days old; Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.CV TIER_1 English(EN) · Yizhuo Jia, Jingyun Hua, Yuanxing Zhang · 2026-08-05 04:00

CAPE-T2V：面向文本到视频生成中双向条件对齐的字幕锚定提示增强

arXiv:2608.03046v1 Announce Type: new Abstract: Text-to-video (T2V) diffusion transformers (DiTs) are trained with detailed video captions, whereas inference often relies on user prompts rewritten by a prompt enhancer (PE). Prior work has improved generation by optimizing the PE,…

本文如何被排名

报道来源 [1]

CAPE-T2V：面向文本到视频生成中双向条件对齐的字幕锚定提示增强

相关实体

相关话题