Clips2Story

新的LLM管道从无序片段创建视频

研究人员开发了Clips2Story，这是一个新颖的管道，它使用一种无需训练、基于LLM的方法，从一系列不同的片段创建视频故事板和编辑视频。该系统首先从视频片段中提取多模态描述符，并使用关键字匹配检索最相关的描述符。然后将这些描述符输入到一个大型语言模型中，该模型将它们排列成一个可编辑的故事板，并配有旁白。最后，将选定的片段和旁白视觉效果组合起来，构成最终视频，证明了从无序素材中创建连贯叙事的效果。