Mixture-of-Transformers
PulseAugur coverage of Mixture-of-Transformers — every cluster mentioning Mixture-of-Transformers across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
-
NVIDIA Cosmos 3 World Models：发布 Colab 友好型迷你版教程
本教程演示了如何使用 cosmos-framework 实现 NVIDIA Cosmos 3 world models 的迷你版本，特别针对 Google Colab 的硬件限制进行了优化。它指导用户检查 Colab 环境的 GPU、内存和磁盘空间，以了解为什么无法进行完整的 Cosmos 3 推理。然后，教程将重点介绍如何使用合成数据构建和训练一个紧凑型的 omnimodal Mixture-of-Transformers 模型，该…
-
新AI模型推动触觉理解和视觉-触觉操作
研究人员开发了UniTac，这是一种新颖的统一多模态模型，专为跨不同传感器的触觉理解和生成而设计。该模型通过双层表示来捕捉传感器与物体之间的物理交互，使其能够执行物体属性描述和传感器识别等任务。此外，另一项研究引入了一种视觉-触觉策略，该策略利用光学触觉传感器产生的瞬时和累积运动之间的相关性来更好地区分细粒度接触状态。该方法旨在通过有效融合视觉和触觉数据来改进接触式操作。
-
Mural通过Transformer混合模型将冻结的LLM集成到图像生成中
研究人员开发了一种名为Mural的新方法，该方法将冻结的大型语言模型（LLM）与基于扩散的图像生成器集成。该方法利用Transformer混合模型（MoT）架构，在无需多模态训练数据或显式推理监督的情况下，将LLM知识迁移到文本到图像合成中。实验表明，Mural在GenEval和DPG-Bench等基准测试中取得了强劲的性能，并显著展现了跨语言图像生成和表情符号引导场景构建等新兴能力。
-
Symbiotic-MoE框架通过融合生成与理解能力，增强多模态AI
研究人员开发了Symbiotic-MoE，一个旨在通过使大型多模态模型（LMMs）在不发生灾难性遗忘的情况下同时执行图像生成和理解任务来改进LMMs的新预训练框架。该框架利用了具有零参数开销的原生多模态专家混合（MoE）Transformer架构。关键创新包括模态感知专家解耦（Modality-Aware Expert Disentanglement），它将专家划分为特定任务使用，同时保持语义桥梁；以及渐进式训练策略（Progress…
-
机器人研究在动作和场景生成方面推进世界模型 · 跟踪7个来源
一篇新的教程论文阐述了机器人学中“世界模型”的范围，将其分为观测空间和状态空间两类，并引入了将预测与机器人动作联系起来的“世界动作模型”。同时，一篇研究论文介绍了一种新颖的移动操作世界动作模型ABot-M0.5，该模型采用Transformer混合架构和梦境强制训练策略，取得了最先进的性能。另一个项目Micro-World提供了一个动作控制的交互式世界模型，用于生成开放域场景，并发布了模型权重和代码以促进社区研究。
-
新框架通过保留知识和改进生成来增强多模态AI
研究人员正在开发新框架以增强多模态AI模型。Rosetta 引入了一种可组合的预训练方法，可以在不破坏现有知识的情况下添加新模态并保留核心知识，使用动量锚定正交投影来管理梯度冲突。COMPASS 在统一系统中将组合意图控制进行接地，通过使用共享的专家令牌来同时改进感知和生成。SRUM 使统一的多模态模型能够通过使用其理解模块作为内部评估器来改进其生成能力，采用双重奖励系统来保证全局和局部保真度。此外，ReVisIT 提供了一种无需训练…
-
Vera 分层扩散模型通过内容保留增强视频编辑
研究人员推出了一种新颖的分层扩散框架 Vera，用于内容保留视频编辑。与重新生成整个视频的现有方法不同，Vera 专注于生成一个编辑层和一个 alpha 蒙版，然后将它们与原始视频合成。这种方法将创意编辑过程与保留未更改元素（如角色和背景）分离开来。该框架采用了 Transformer 混合架构，通过为每个层使用单独的 DiT 并通过联合自注意力进行通信来扩展文本到视频的 Diffusion Transformer (DiT)。Ver…
-
新AI框架通过内容保留和实时能力增强视频编辑
研究人员开发了新的视频编辑框架，解决了当前自动化系统的局限性。VideoAgent利用多智能体编排框架，为多样化的视频理解和编辑任务提供了一体化解决方案，并以更低的成本实现了高成功率。Vera是一个分层扩散模型，通过生成单独的编辑层和Alpha蒙版来专注于内容保留，在这方面优于现有模型。LiveEdit通过采用蒸馏管道和面向AR的蒙版缓存，解决了实时流视频编辑问题，能够实现快速、稳定、高保真的编辑，适用于交互式应用。
-
新的AI模型应对自动驾驶的远期规划问题
研究人员正在开发先进的自动驾驶AI模型，重点是改进轨迹规划和远期决策。包括ParkingTransformer、TerraTransfer、AlignDrive、Metis和GraphWorld在内的几个新框架，利用了LLM、自我博弈和基于图的世界建模等技术，以增强复杂驾驶场景下的泛化性、效率和安全性。这些方法旨在通过更好地整合感知、预测和规划，以及从多样化数据中学习而不完全依赖专家演示，来克服现有方法的局限性。
-
MaskWAM模型统一掩码以增强机器人控制
研究人员开发了MaskWAM，这是一种新颖的以物体为中心的世界-动作模型，旨在通过视频预测来改进机器人控制。通过使用Transformer混合模型将掩码整合为输入和预测，MaskWAM解决了当前模型中的空间瓶颈，减少了歧义和背景偏差。这种方法增强了语义监督，并提供了精确的空间锚定，从而在各种机器人任务上取得了显著的性能提升，包括那些具有模糊语言指令的任务。
-
Intel 和 NVIDIA 在 AI 硬件和模型方面取得进展
Intel 专注于代理式 AI 以推动 CPU 复兴，并旨在建立一个全栈式 AI 计算平台。与此同时，NVIDIA 推出了 Cosmos 3，一个基于 Mixture-of-Transformers 架构的开放式物理 AI 模型。这些进展凸显了 AI 在硬件和模型开发中的日益融合。
-
NVIDIA 发布 Cosmos 3 全模态模型和 Nemotron 3 LLM
NVIDIA 发布了 Cosmos 3，一个采用 Transformer 混合架构的全模态世界模型，整合了语言、图像、视频、音频和动作。此次发布包含开放权重、代码和数据集，经过微调的版本在图像和视频生成基准测试中取得了最先进的成果。此外，NVIDIA 还推出了 Nemotron 3 Ultra，一个高效的 550B 开放权重 LLM，并预览了用于个人电脑的 RTX Spark 超级芯片。
-
X Square Robot 发布具有开放代码和真实机器人测试的 4B VLA 模型
X Square Robot 发布了 Wall-OSS-0.5，一个拥有 40 亿参数的视觉-语言-动作 (VLA) 模型。该模型构建在 30 亿参数的视觉-语言模型骨干之上，并使用 Transformer 混合架构整合了动作专家。值得注意的是，该研究在微调前对模型在真实机器人上的性能进行了评估，展示了强大的零样本能力以及在任务特定适应后的显著改进。
-
蚂蚁集团 LingBot-VA 机器人控制模型被 RSS 2026 录用
蚂蚁集团的 LingBot-VA，一个用于机器人控制的因果世界建模框架，已被顶级的 Robotics: Science and Systems (RSS) 2026 会议录用。该框架使机器人在行动前就能预测环境变化，模仿人类的观察、判断和行动。LingBot-VA 采用了 Mixture-of-Transformers 架构，并在模拟和真实机器人任务中展现了高成功率，显示出强大的数据效率和泛化能力。该研究旨在推动机器人从简单的指令执行…
-
Mix3R 结合前馈和生成式AI，以改进3D重建和姿态估计
研究人员开发了Mix3R，一种结合前馈和生成式方法的新型3D重建方法。该技术分两个阶段生成3D形状，在第一阶段生成对齐的稀疏体素和点图。通过集成Transformer混合架构，Mix3R利用预训练模型同时改进2D-3D对齐。与现有技术相比，该方法生成的3D形状具有更好的输入对齐和更精确的相机姿态估计。
-
SpatialFusion通过三维几何感知增强图像生成能力，超越GPT-4o
研究人员开发了SpatialFusion，一个旨在提高图像生成模型三维几何理解能力的新框架。通过将空间变换器与Transformer混合架构相结合，SpatialFusion可以从语义上下文中推导出度量深度图。然后，这些几何洞察通过深度适配器输入到扩散骨干网络，从而增强生成图像和编辑中的空间一致性。据报道，该框架在空间感知任务上的表现优于GPT-4o等模型，且推理成本极低。