研究人员推出了Cosmos 3，这是一个新的通用多模态世界模型系列，能够处理和生成包括语言、图像、视频、音频和动作在内的多样化数据类型。这种统一的架构基于混合专家模型（mixture-of-transformers）构建，旨在成为物理AI中具身智能体（embodied agents）的通用骨干。评估显示，Cosmos 3在各种任务中取得了最先进（state-of-the-art）的成果，并且其代码、检查点和数据集正在以开源许可证的形式发布，以促进进一步的研究。 AI
影响 通过统一多种模态，为具身智能体确立了新的最先进水平，有望加速物理AI的发展。
排序理由 该集群描述了一篇介绍新型AI模型架构及其性能的最新研究论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.02800v1 Announce Type: cross Abstract: We introduce Cosmos 3, a family of omnimodal world models designed to jointly process and generate language, image, video, audio, and action sequences within a unified mixture-of-transformers architecture. By supporting highly fle…
Cosmos 3 is an omnimodal world model that processes and generates multiple data types through a unified mixture-of-transformers architecture, achieving state-of-the-art performance in various understanding and generation tasks.