World Models
PulseAugur coverage of World Models — every cluster mentioning World Models across labs, papers, and developer communities, ranked by signal.
10 天有情绪数据
-
新研究将人类信念纳入世界模型以改进行动预测
一项新研究引入了一个“心智世界建模”框架，该框架将人类的信念和意图纳入世界模型。与目前仅关注物理学的模型不同，这种方法旨在通过考虑心智状态来更准确地预测行动。初步结果表明，即使是使用这种心智建模框架的较弱语言模型，也优于缺乏该框架的更强模型，尽管预测物理状态和心智状态之间的相互作用仍然是一个挑战。
-
研究发现：量子模型可为人工智能世界模型提供完美对齐
一篇新发表在arXiv上的论文探讨了人工智能中经典世界模型的局限性，特别是在需要大量内存的复杂环境中。研究表明，即使增加了内存，经典模型也可能无法准确区分动作或一致地估计奖励，从而导致次优的代理策略。相比之下，该论文提出，利用单个qutrit的量子世界模型可以完美复制这些复杂环境，确保现实世界和虚拟世界代理策略之间的最佳对齐。
-
中国在生成视频领域的优势使其有望引领下一代人工智能
中国凭借其在生成视频技术方面的强大地位，有望引领人工智能发展的下一阶段，特别是在世界模型的创建方面。这一进步可能对人工智能的未来格局产生重大影响。
-
新型扩散模型生成可控高风险驾驶场景
研究人员开发了一种新颖的生成安全关键驾驶场景以增强自动驾驶系统的管道，名为RiskMV-DPO。该方法通过整合目标风险水平与基于物理的风险建模，实现了风险可控的多视角场景生成。该系统合成了多样化的高风险动态轨迹，并使用几何外观对齐模块和区域感知直接偏好优化策略来确保时空连贯性和几何保真度。实验表明，3D检测mAP显著提高，Fréchet inception distance降低，为主动、风险可控的综合世界模型奠定了基础。
-
新的QWM框架通过世界模型增强强化学习
研究人员推出了一种新颖的QWM框架，该框架将世界模型与Q学习相结合，以提高强化学习的样本效率。该方法使用世界模型在想象的轨迹上进行测试时搜索，从而在不直接在预测状态上优化策略的情况下改进动作选择。QWM仅在真实转换上进行训练，从而避免了模型偏差的累积，并在RoboMimic和LIBERO等具有挑战性的操纵基准上展示了显著的性能提升。
-
15 款可下载的 AI 模型提供超越聊天机器人的高级功能
最近的一篇概述重点介绍了 15 款可供下载的 AI 模型，这些模型已超越传统的聊天机器人，包括能够进行视频分析、机器人控制和物理世界模拟的系统。文章区分了“开放权重”（仅发布数值参数）模型和真正的“开源”模型（还提供训练代码和数据访问权限）。这一区别对于理解每种模型的修改程度和商业用途至关重要。
-
新工具揭示像素指标在机器人视频上无法对世界模型进行排序
一款名为 worldproof 的新开源工具已被开发出来，用于诊断世界模型的故障点，世界模型根据动作预测未来帧。该工具的验证显示，标准的像素指标通常无法区分模型在真实机器人视频数据上的性能。具体来说，当预测误差不随预测范围一致增加时，SSIM 和 PSNR 等指标可能会失效，导致所有模型看起来性能相似。
-
新论文为智能体定义因果世界模型
本文将因果世界模型（CWMs）作为一个框架引入，用于能够超越训练数据进行推理和行动的智能体。作者提出，有效的世界模型不仅应能生成预测，还应捕捉实体属性和交互，以解释环境动态。本文正式定义了CWMs，将其与因果表征学习、面向对象的学习、因果发现和结构因果模型等现有研究联系起来，同时还解决了可识别性问题。
-
新的基准 H2R-Bench 揭示了人类到机器人视频生成能力的局限性
研究人员推出了 H2R-Bench，这是一个旨在评估视频生成模型将人类操作视频转换为以机器人为中心的演示的能力的新基准。该基准通过利用丰富的以自我为中心的视频，解决了机器人学习数据扩展的挑战，而这些视频由于手部和机器人末端执行器的差异而难以跨不同载体进行转换。使用 H2R-Bench 对十一个最先进的视频世界模型进行的初步评估显示，它们在人类到机器人操作迁移方面的能力存在显著局限性，许多模型在载体一致性、功能交互和任务执行方面都遇到了困难。
-
具身智能面临新瓶颈，企业构建持续学习系统 · 追踪1个来源
具身智能领域正面临新的瓶颈，因为各种技术方法正在收敛到相似的核心问题上。企业正在努力解决如何有效地将数据、模型理解和行动执行整合到一个持续学习的循环中。这涉及到弥合数据与模型、视觉理解与物理动作、以及模拟与现实应用之间的差距，需要系统性的方法，而不是孤立的模型改进。
-
世界模型：AI科学发现的下一个前沿
世界模型（World Models）的概念，即旨在模拟和理解世界的AI系统，正被探索为人工智能的下一个前沿。这种方法旨在通过创建能够推理复杂系统的模型，超越当前AI的能力，有可能解决科学中的基本问题，例如为什么某些天文现象是被禁止的。
-
新的WorldExam基准测试评估AI视频生成反应性
研究人员推出了一款名为WorldExam的新基准测试，旨在评估可控视频生成模型，通常称为世界模型。该基准测试超越了视觉质量和显式指令遵循的评估，而是衡量所描绘世界的“内在反应性”。WorldExam包含四个级别和八个任务的1,474个案例，支持相机驱动、动作驱动和语言驱动的模型范式。对20个模型的初步评估表明，虽然相机驱动的模型在控制方面表现出色，动作驱动的模型在主体精度方面更好，语言驱动的模型在交互方面表现良好，但没有一个模型在所有…
-
Google DeepMind 研究员：LLM 缺乏创新火花，世界模型或将成功
一位 Google DeepMind 的研究员认为，目前的语言模型由于缺乏真正的创新所需的认知机制，无法发起科学革命。该研究员提出，“世界模型”能够模拟和理解物理世界，可能更适合推动此类突破。这一观点挑战了先进语言模型本身就能带来科学发现范式转变的观念。
-
对使用世界模型的具身AI的安全威胁和防御进行了调查
本文调查了利用世界模型的具身AI系统的安全状况。文章详细介绍了这些预测核心在实现高级规划的同时，也引入了新的漏洞。研究追溯了从数据构建到长期适应的世界模型整个生命周期中的威胁，并将诸如投毒、后门和提示注入等攻击归类于世界状态和学习到的动力学。文章还讨论了世界模型作为潜在安全护盾和预测性安全幻觉来源的双重作用，并提出了防御和评估协议。
-
CG-World 数据集通过详细的状态跟踪推动 AI 世界模型发展 · 跟踪 2 个来源
研究人员推出了 CG-World，这是一个大规模数据集和协议，旨在推动人工智能中世界模型的开发。CG-World 源自工业计算机图形管道，明确记录了跨越约 850,000 个时间段的综合中间状态集，包括语义、空间结构和物理数据。该数据集旨在为几何条件视频生成、动作预测和具身策略迁移等任务提供结构化监督，并计划通过社区合作进行未来扩展。
-
姚乐科技为AI触觉传感数据手套融资
专注于柔性触觉传感的姚乐科技已完成由鼎和高远领投、常熟汽饰和祖龙娱乐跟投的Pre-A+轮融资。该公司技术专注于开发能够捕捉真实物理交互数据的数动手套，这对于训练具身AI和世界模型至关重要。与现有解决方案常因传感器分离和材料限制导致数据不准确的问题不同，姚乐的集成织物传感器旨在提供可靠且可扩展的触觉数据收集。
-
腾讯AI负责人离职，英伟达CEO赞扬中国模型，xAI扩展数据中心
腾讯多模态理解负责人胡瀚已离职创业，其原团队或将转向世界模型。英伟达CEO黄仁勋评论称市场低估了中国AI模型。埃隆·马斯克的AI公司xAI计划在德克萨斯州大幅扩展数据中心。此外，Lark的AI助手Lark Daily已升级，支持自主工作和团队协作。
-
视频生成器在推理方面存在不足，但在计算机视觉任务中表现出色
一篇题为“视频中的思考”（Thinking in Video）的新论文提出了一个名为因果生成双判模型（Causal-Generative Dual-Judge, CGDJ）的框架，用于评估视频生成模型的推理能力。研究强调了一个显著的“感知-预测鸿沟”（Perception-Prediction Gap），即模型可以生成看似合理的视频动态，但并未展现出真正的因果理解能力。与此同时，Google DeepMind 的 GenCeption…
-
AI世界模型：潜力与局限性探讨 · 跟踪2个来源
文章探讨了人工智能（AI）中旨在模拟整个环境的“世界模型”概念的潜力和局限性。这些模型借鉴了计算神经科学和认知科学等领域的知识，试图复制复杂系统，以应用于从强化学习到通用人工智能（AGI）的各种场景。然而，文章也强调了创建真正全面和准确的模拟所固有的重大挑战和界限。
-
多公司研究探讨自动驾驶测试方法
一项涉及六个国家九家公司专家的最新研究显示，当前的自动驾驶系统（ADS）测试主要依赖基于场景和X-in-the-loop的方法。已识别的关键挑战包括确保场景的真实性和覆盖范围、模拟的保真度以及建立明确的验收标准。该研究提出了一个以证据为中心的闭环测试框架，并建议未来的趋势是朝着更自动化、数据驱动和透明的测试实践发展。