研究人员开发了两个新框架 StreamChar 和 FlowNar，专为长视频的实时音视频生成和旁白设计。StreamChar 利用基于 LLM 的编排器和联合音视频扩散 Transformer 来实现高效的实时角色动画生成。FlowNar 通过采用动态上下文管理和新颖的 Cross Linear Attentive Memory 模块来解决流式视频旁白的扩展性挑战，以保持有限的计算复杂性并提高旁白质量。 AI
影响 这些框架推动了视频内容创作和分析的实时人工智能能力，可能催生更具动态性和交互性的应用。
排序理由 两篇不同的研究论文介绍了用于实时音视频生成和旁白的新框架。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
StreamChar enables real-time streaming audio-video generation for character animation by separating long-horizon orchestration from short-window denoising through an LLM-based orchestrator and joint audio-video DiT, achieving efficient deployment via two-stage distillation and ma…
arXiv:2606.00620v1 Announce Type: new Abstract: Recent Large Multimodal Models (LMMs), primarily designed for offline settings, are ill-suited for the dynamic requirements of streaming video. While recent online adaptations improve real-time processing, they still face critical s…