FlowNar

新框架支持实时流式音视频生成和旁白

研究人员开发了两个新框架 StreamChar 和 FlowNar，专为长视频的实时音视频生成和旁白设计。StreamChar 利用基于 LLM 的编排器和联合音视频扩散 Transformer 来实现高效的实时角色动画生成。FlowNar 通过采用动态上下文管理和新颖的 Cross Linear Attentive Memory 模块来解决流式视频旁白的扩展性挑战，以保持有限的计算复杂性并提高旁白质量。