PulseAugur
中
实时 13:51:45
实体 Mixture-of-Transformers

Mixture-of-Transformers

PulseAugur coverage of Mixture-of-Transformers — every cluster mentioning Mixture-of-Transformers across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
8
90 天内 32
发布 · 30天
0
90 天内 0
论文 · 30天
6
90 天内 25
层级分布 · 90 天
主题
关系
情绪 · 30 天

4 天有情绪数据

最近 · 第 1/2 页 · 共 33 条
  1. RESEARCH · CL_362182 ·

    新数据集和方法通过人类自我中心视频提升机器人学习能力

    研究人员推出了两个旨在通过人类自我中心视频改进机器人学习的新数据集。HubEgo-100K 提供了超过 10,000 小时的多样化、野外自我中心技能工作视频片段,并附带机器生成的动作和语言数据注释。Ego Guidance 提出了一种混合 Transformer 架构,即使没有明确的动作监督,也能利用这类视频来增强机器人策略学习和泛化能力。

  2. RESEARCH · CL_344174 ·

    WeLM-Image 模型集成了多模态理解能力,可实现高级图像生成

    研究人员推出 WeLM-Image,这是一款统一的图像生成模型,旨在集成到微信等大规模消费类应用中。该模型结合了多模态理解、文本到图像生成、指令引导编辑和多参考合成能力。它采用具有专家混合模块的 Transformer 混合骨干网络,拥有 317 亿个存储参数和约 54 亿个激活参数,可实现高效处理。WeLM-Image 在 PRISM-Bench 和 Qwen Image Bench 等多个基准测试中均排名靠前,其蒸馏版本 WeLM…

  3. TOOL · CL_332912 ·

    WorldFlow模型通过大规模预训练联合预测视频和3D运动

    研究人员推出了一种新颖的生成式世界模型WorldFlow,旨在联合预测未来的视频和3D轨迹。该模型利用了Transformer混合体骨干网络来同时处理这两种模态,并通过利用预训练的视频模型来增强物理动力学的预测能力。为了支持其开发和评估,WorldFlow在一个包含144万个样本的大型数据集上进行了训练,并使用新的WorldFlowBench基准进行了验证,该基准包含跨越不同领域的1678个样本。

  4. RESEARCH · CL_338960 ·

    新模型FloMo和WorldFlow可从视频预测3D运动

    研究人员开发了FloMo和WorldFlow,两个专注于从视频预测3D场景运动和动作的独立模型。拥有50亿参数的FloMo模型,通过微调视频生成能力来预测3D场景流和动作令牌,证明运动预测比直接视频预测更能有效地实现机器人动作泛化。WorldFlow利用混合Transformer骨干网络,通过连续位移令牌联合预测未来的视频和3D轨迹,展示了改进的物理动力学预测能力,并显著降低了SpatialCog等基准测试的误差。

  5. TOOL · CL_322105 ·

    RynnUnify:用于规划和机器人控制的统一具身模型

    研究人员推出 RynnUnify,这是一个拥有 160 亿参数的统一具身模型,旨在整合视觉规划、物理推理和机器人控制。该 Mixture-of-Transformers 架构建立在 Cosmos3 的基础上,在长时域具身任务上展现了最先进的性能。RynnUnify 将场景理解与物理世界演变预测联系起来,实现了交错的视觉规划和主体推理。其 World-Action Model 扩展将这些预测能力转化为机器人控制,在操作任务上取得了显著成功。

  6. TOOL · CL_308112 ·

    RealtimeWAM 在世界动作模型上实现 25 倍加速

    研究人员推出了 RealtimeWAM,这是一种新颖的世界动作模型 (WAMs) 方法,旨在显著提高推理效率。该方法采用一步动作生成和异步推理来克服先前的瓶颈。关键创新包括用于准确一步动作预测的教师锚定一致性蒸馏 (TACD) 和用于并行处理视频及动作专家的跨专家波前流水线 (CEWP)。实验表明,RealtimeWAM 在 NVIDIA H100 硬件上实现了高达 25 倍的显著加速,同时在各种基准测试中的性能下降极小。

  7. TOOL · CL_300782 ·

    DriveWLA模型统一了世界、语言和动作,以实现自动驾驶

    研究人员推出了一种新颖的自动驾驶模型DriveWLA,该模型统一了语义理解、未来场景预测和轨迹生成。该模型采用混合Transformer架构,并设有专门的世界动态、语言语义和动作规划专家。DriveWLA结合了跨专家注意力机制以实现信息流动,并利用强化学习进行精细的轨迹生成,在NAVSIM v1和v2等基准测试中取得了最先进的成果。

  8. TOOL · CL_308294 ·

    BridgeWAM 将视频和动作专家解耦,以实现高效的动作预测

    研究人员开发了 BridgeWAM,一种新颖的世界动作模型(WAMs)方法,该方法通过潜在桥接查询将视频和动作专家解耦。该方法通过允许动作预测专注于相关的视觉特征并减少冗余计算,从而提高了效率和泛化能力。BridgeWAM 利用共享的潜在空间来容纳各种先验信息,使动作梯度能够指导视频专家,并使动作专家能够选择性地检索信息。与以前的方法相比,最终模型在 LIBERO 和 LIBERO-Plus 等基准测试中取得了很高的成功率,并显著减少…

  9. RESEARCH · CL_273476 ·

    PixelUMM:推出无编码器的统一图像和视频模型

    研究人员推出 PixelUMM,这是一种新颖的无编码器模型,旨在直接在像素空间中进行统一的图像和视频理解与生成。该模型通过将图像视为空间块并将视频视为时空管状物,克服了整合用于理解和生成的独立视觉表示的挑战。PixelUMM 采用 Transformer 混合架构,结合共享注意力与特定任务的参数,以支持自回归文本预测和像素空间流匹配,在各种任务上取得了有竞争力的性能。

  10. TOOL · CL_236402 ·

    AWS 和 NVIDIA 发布 Cosmos 3 物理 AI 模型工厂

    AWS 和 NVIDIA 已合作推出使用 SageMaker HyperPod 上的 NVIDIA Cosmos 3 构建的物理 AI 模型工厂。该系统旨在持续生成合成数据、训练感知和策略模型,并在模拟中进行评估,使机器人和自动驾驶汽车能够在现实世界中运行。NVIDIA Cosmos 3 模型采用 Transformer 混合架构,将视频、图像、动作和声音等多种模态整合到单一 token 流中,使其能够在 AWS 基础设施上通过统一的…

  11. TOOL · CL_198310 ·

    新框架利用生成来提升MLLM的视觉理解能力

    研究人员推出了一种名为GAS的新型训练框架,该框架利用生成作为辅助监督来增强多模态大语言模型(MLLM)的视觉理解能力。该方法在解耦的Transformer混合架构中应用了下一嵌入预测(NEP),允许生成损失来优化共享的视觉通路,而不会影响上层的理解模块。该框架旨在在训练后无需额外推理成本的情况下提高感知和空间理解能力。

  12. TOOL · CL_196244 ·

    Flex-π 模型将 3D 几何和对象语义与 RGB 数据集成

    研究人员开发了 Flex-$\pi$,一个拥有 60 亿参数的世界动作模型,该模型将 3D 几何和对象语义与 RGB 数据集成在一起。该模型利用预训练的视频生成 VAE,无需额外训练即可编码 3D 点图,从而实现统一的潜在空间。Flex-$\pi$ 使用了具有跨模态强制的 Transformer 混合骨干网络,使其能够高效地处理输入流的各种子集。该模型在真实世界双臂操作任务的演示效率和泛化能力方面表现出显著的改进,优于现有基线。

  13. TOOL · CL_204180 ·

    新的GAS框架以零推理开销增强了MLLM的视觉理解能力

    研究人员开发了一个名为GAS的新框架,该框架使用生成作为辅助监督方法来增强多模态大型语言模型(MLLM)的视觉理解能力。GAS在解耦的Transformer混合(MoT)架构中采用了下一嵌入预测(NEP)。这种方法允许生成任务在不增加训练后任何推理开销的情况下,用更精细的空间细节和更强的视觉保留来丰富视觉通路,从而提高感知和空间理解能力。

  14. RESEARCH · CL_172023 ·

    StatePlay模型通过预测内部状态来生成机械一致的游戏世界

    研究人员推出了StatePlay,这是一种新颖的游戏世界模型,旨在生成视觉上逼真且机械上一致的游戏环境。与以往只关注像素级真实感的模型不同,StatePlay同时预测视觉内容和内部游戏状态,例如生命值和计时器。这种状态感知的做法确保了生成的游戏玩法符合游戏的明确规则和机制,与没有显式状态建模的模型相比,机械保真度提高了18.6%。该模型利用了混合Transformer架构来有效地整合视觉和状态表示。

  15. FRONTIER RELEASE · CL_153210 ·

    NVIDIA 发布 Cosmos 3 Edge,一款用于机器人的 40 亿参数设备端 AI 模型

    NVIDIA 发布了 Cosmos 3 Edge,这是一款专为机器人和视觉 AI 在设备上运行而设计的 40 亿参数开放世界模型。该模型使机器人和 AI 代理能够理解其环境、实时推理并在本地生成动作,从而解决了内存受限的边缘系统对数据中心级性能的需求。Cosmos 3 Edge 采用具有两个塔的 Transformer 混合架构来处理各种模态,并将世界建模直接连接到机器人策略训练和评估。

  16. RESEARCH · CL_147882 ·

    新模型RxBrain和GTA-VLA推动具身AI推理发展

    研究人员推出了RxBrain,一个新颖的具身认知基础模型,它整合了语言和视觉推理能力以进行规划。与专注于场景理解或未来状态预测的现有模型不同,RxBrain将具身计划表示为一个统一的序列,利用语言来提供抽象结构,并利用视觉想象来 grounding 在物理状态中。该模型采用了Transformer混合架构,即使在没有大量动作数据预训练的情况下,在连续机器人动作生成方面也表现出有希望的性能。此外,还提出了一个名为GTA-VLA的新框架,…

  17. TOOL · CL_145912 ·

    GigaWorld-Policy-0.5通过更快的推理能力增强机器人控制

    研究人员开发了GigaWorld-Policy-0.5,这是一种增强型世界动作模型(WAM),旨在实现更高效的机器人控制。该模型通过在训练时使用未来的视觉动力学,并在推理时采用仅动作解码方法,解决了传统WAM的计算开销问题。GigaWorld-Policy-0.5通过混合Transformer架构和用于优化训练配置的AutoResearch管道,在RTX 4090设置上实现了85毫秒的推理延迟。

  18. TOOL · CL_131776 ·

    NVIDIA Cosmos 3 World Models:发布 Colab 友好型迷你版教程

    本教程演示了如何使用 cosmos-framework 实现 NVIDIA Cosmos 3 world models 的迷你版本,特别针对 Google Colab 的硬件限制进行了优化。它指导用户检查 Colab 环境的 GPU、内存和磁盘空间,以了解为什么无法进行完整的 Cosmos 3 推理。然后,教程将重点介绍如何使用合成数据构建和训练一个紧凑型的 omnimodal Mixture-of-Transformers 模型,该…

  19. RESEARCH · CL_118108 ·

    新AI模型推动触觉理解和视觉-触觉操作

    研究人员开发了UniTac,这是一种新颖的统一多模态模型,专为跨不同传感器的触觉理解和生成而设计。该模型通过双层表示来捕捉传感器与物体之间的物理交互,使其能够执行物体属性描述和传感器识别等任务。此外,另一项研究引入了一种视觉-触觉策略,该策略利用光学触觉传感器产生的瞬时和累积运动之间的相关性来更好地区分细粒度接触状态。该方法旨在通过有效融合视觉和触觉数据来改进接触式操作。

  20. TOOL · CL_118028 ·

    Mural通过Transformer混合模型将冻结的LLM集成到图像生成中

    研究人员开发了一种名为Mural的新方法,该方法将冻结的大型语言模型(LLM)与基于扩散的图像生成器集成。该方法利用Transformer混合模型(MoT)架构,在无需多模态训练数据或显式推理监督的情况下,将LLM知识迁移到文本到图像合成中。实验表明,Mural在GenEval和DPG-Bench等基准测试中取得了强劲的性能,并显著展现了跨语言图像生成和表情符号引导场景构建等新兴能力。