研究人员推出Archon,这是一种新颖的统一多模态模型,旨在实现数字人的整体生成。该模型通过特定于模态的标记器和自回归架构集成了文本、音频、运动和视觉内容等七种不同的模态。Archon在同步模态和72个不同任务上进行了预训练,以有效地模拟联合分布。为了管理高保真对话视频的复杂性,该系统采用了内存高效的语义视频重参数化技术,将令牌数量减少了4倍,同时保留了动态性,并辅以语义驱动的视频扩散解码器。此外,“以模态思考”的方法将模糊的跨模态任务分解为顺序步骤,提高了保真度和可控性。 AI
影响 该模型有望在各种应用中推动更现实、更具交互性的数字虚拟形象的创建。
排序理由 该集群描述了一篇详细介绍新AI模型的论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →