World Models
PulseAugur coverage of World Models — every cluster mentioning World Models across labs, papers, and developer communities, ranked by signal.
10 天有情绪数据
-
新指标衡量世界模型中潜在安全过滤器的保守性
研究人员开发了一种方法来衡量世界模型中使用的潜在安全过滤器的保守性。这些过滤器旨在通过设置阈值来防止不安全行为,但有时可能过于谨慎而拒绝安全行为。新方法通过分析潜在向量和动作如何被分组到单元中来量化这种保守性,并计算“重叠度”——即为了避免接受任何不安全转换而必须拒绝的安全转换的最小份额。该指标被应用于比较三种现有过滤器设计,结果显示独立编码器设计保守性最低,允许规划器在视觉导航任务中实现更多目标。
-
新方法增强AI世界模型中的长时规划 · 跟踪2个来源
两篇新研究论文提出了改进世界模型中长时规划的新颖方法。第一种方法,Episodic Kernel Repulsion (EKR),引入了一个无需训练的成本项,通过引用访问过的状态的记忆来惩罚规划,显著提高了导航任务的成功率。第二种方法,GEMS (Generation and Experience Memory for Subgoal-Guided Planning),将生成的子目标与潜在经验记忆 (Latent Experience…
-
AI世界模型在零售预测中难以应对未见过行为
两篇新研究论文探讨了AI世界模型在零售预测中的可信度,特别是在遇到训练期间未见过的行为时。研究表明,虽然预测准确性可以作为不同模型类型之间性能的适度指标,但它却是同一模型不同版本之间性能的糟糕预测因子。两篇论文都强调,现有的世界模型甚至像LightGBM这样的简单模型都可能高估促销计划的影响,尤其是在需求高峰期,这可能导致财务损失。研究表明,在某些情况下,纳入价格变动等特定规则可以提高模型准确性,但需要对因果效应有更深入的理解才能进行可靠的预测。
-
新的自动驾驶研究解决了注意力限制并增强了世界模型 · 跟踪了 6 个来源
arXiv 上发表的多篇研究论文探讨了自动驾驶系统的进展,重点是改进感知、预测和决策。一项研究挑战了自动驾驶汽车中对注意力机制的依赖来确定物体相关性,认为它们提供的是相关性而非因果性见解,尤其是在复杂场景中。另一篇论文引入了一个闭环交互式世界模型,通过将行为建模与视觉渲染相结合,增强了行为真实感和视觉保真度。此外,研究提出了使用时空注意力进行实例预测的新架构 BEVPredFormer,以及用于端到端自动驾驶中一次性联邦学习的 Fed…
-
新框架将LLM-Agent市场评估为世界模型
研究人员开发了一个新的框架来评估黑箱世界模型,这些模型是指大型语言模型代理在市场中运行,其集体行为产生宏观动态的系统。该框架将模型的能力分为两个阶段:信息模拟(宏观信息到微观行为)和宏观涌现(微观行为到宏观结果)。引入了一种软宏观控制方法,通过宣布参考路径来指导这些市场,该方法已被证明可以将实现的路径更接近目标,从而在各种信息条件下提高跟踪分数。
-
机器人研究推出新的世界模型用于动作预测 · 跟踪了 4 个来源
四篇新研究论文介绍了增强机器人世界模型的新方法,重点是提高它们预测动作后果的能力。AFFECT、HINT-WAM、LASR 和 ResWAM 都旨在使这些模型更忠实于现实世界的结果,并提高规划和控制的效率。这些方法解决了诸如捕捉细微动作效果、高效适应以及动作基础表示的稳健评估指标等挑战。
-
AI代理通过内在动机和预测状态学习世界模型 · 已追踪2个来源
研究人员正在探索内在动机如何增强强化学习代理构建世界模型的能力。一篇论文将24个内在目标(包括好奇心、熵和能力)整合到强化学习框架中,发现由好奇心驱动的带有观测重建的探索产生了强大的结果。另一种方法WM-PPO将世界模型与Proximal Policy Optimization的评论家相结合,从预测的后继状态生成辅助策略优势和价值目标,在ALFWorld和ScienceWorld等环境中显著提高了任务成功率,而无需特权信息。
-
JEPA与世界模型:迈向人工智能的物理智能
本文探讨了联合嵌入预测架构(JEPA)的概念及其在推进人工智能方面的潜力,特别是在机器人物理智能领域。文章认为,在潜在空间中进行预测,而不是生成像素,是开发高级人工智能能力更关键的一步。该文提出,这种方法可以带来更智能、物理能力更强的机器人。
-
新的“Dual Exam”框架评估多模态智能体和世界模型
一篇新的研究论文介绍了一个名为“Dual Exam”的框架,用于评估多模态智能体和世界模型。该研究在不同领域测试了10种智能体配置和15种世界模型配置,揭示了性能不均和状态保持方面的失败。GPT-6 Astra和GPT-Image-2在其各自的赛道上取得了领先分数,但由于指标不同,无法直接比较。
-
新的CGSE方法增强了世界模型的离线学习
研究人员开发了一种名为批评者引导合成体验(CGSE)的新颖方法,以增强世界模型中从离线数据集中学习的能力。该方法使用世界模型作为局部转换生成器,采用批评者引导在模型内选择动作并创建合成体验。CGSE通过在信任区域内最大化Q函数来优化候选动作,从而扩充现有数据集,然后使用世界模型预测未来状态并选择最优转换。该技术可以在不要求新的现实世界交互或测试时规划器的情况下离线生成合成体验,从而在OGBench操作任务上将平均成功率提高了7.1%。
-
AMD以82亿美元收购李飞飞的World Labs,以整合AI模型与硬件
AMD已以约82亿美元的全股票交易收购了由人工智能先驱李飞飞创立的、成立两年的公司World Labs。此次收购使李飞飞成为AMD执行副总裁兼首席科学家,直接向CEO苏姿丰汇报,并标志着AMD将先进AI模型研究与硬件开发深度整合的战略举措。World Labs以其在“空间智能”和“世界模型”方面的工作而闻名,将作为AMD内部一个相对独立的研发部门运作,旨在弥合AI模型需求与硬件能力之间的差距。
-
腾讯混元发布交互式世界模型和基准测试
腾讯的混元模型发布了Hy-Nomas,一个80亿参数的交互式世界模型,可接受文本和摄像头输入。同时,他们还推出了Hy-Nomas-Bench,一个包含280个测试用例的新基准测试,用于评估世界模型。
-
新框架在视觉生成和环境演化方面推进AI智能体能力 · 跟踪4个来源
研究人员推出多个新框架和基准,以推进AI智能体,特别是在复杂生成任务方面。RefCraft专注于基准测试智能体使用视觉参考进行网页开发的能力,揭示了该领域的当前局限性。LegoEnv提出了一种通过组合和重组可重用组件来演化智能体环境的新方法,显著提高了任务的可解性和智能体性能。此外,VEvo-Harness和用于视频生成的智能体工具探索了集成规划、工具使用和递归式自我改进以进行视觉内容创作的自演化系统,旨在克服当前生成-验证-重写循环的局限性。
-
Google DeepMind 发布交互式世界模型 Genie 4
Google DeepMind 发布了 Genie 4,这是一种新的世界模型,旨在生成交互式环境,而不仅仅是静态视频。与之前专注于像素级预测的模型不同,Genie 4 旨在创建能够实时响应用户操作的世界,并结合实时声音,通过自然语言进行模拟内修改。该研究预览版计划集成到 Google 的 Project Genie 和 Gemini API 中,但具体的发布日期和定价尚未公布。这一发展凸显了人工智能方法的差异,一些方法侧重于高保真视频…
-
新研究质疑当前潜在世界模型的有效性
一篇新论文引入了忠实潜在世界模型(faithful latent world models)的概念,提出以潜在展开一致性(latent rollout consistency, LRC)作为评估条件动作潜在预测的指标。研究强调,当前最先进的潜在世界模型未能准确反映其环境的底层结构。这项工作旨在通过关注世界模型的预测性潜在动力学,而非仅仅任务表现,来改进世界模型的评估方式。
-
新的Rollback方法使用世界模型增强机器人策略
研究人员开发了一种新的策略改进范式,称为Rollback,它利用动作条件世界模型来增强机器人策略。与传统方法不同,Rollback允许世界模型回溯到过去的决策点,探索替代动作,并将成功归因于特定决策。这种方法将计算资源集中在关键节点上,并通过LoRA管道通过真实世界反馈来完善世界模型,从而在积木提取、抛球和桌面冰壶等任务中取得显著改进。
-
新型JEPA AI世界模型:聚焦物理规律而非像素
一类名为JEPA(联合嵌入预测架构)的新型AI世界模型正在被开发,它们旨在预测场景的关键要素而非每一个像素。这种方法侧重于学习物理规律和理解世界的底层结构,与旨在进行像素级预测的传统视频生成模型不同。这些JEPA模型被设计得更高效,并可能更擅长理解复杂的物理交互。
-
DRILL框架训练世界模型以提升强化学习策略
研究人员引入了下游回报想象学习循环(DRILL),一个旨在通过更有效地训练世界模型来增强强化学习策略的新框架。与专注于像素预测的传统方法不同,DRILL通过想象的滚动优化世界模型以最大化策略回报。这种方法,通过DRILL-VWI和DRILL-IMG等实例,在各种操纵模拟器中展示了成功率的显著提高,优于WMPO和RLVR-World等现有方法。
-
新方法通过比较性想象增强 AI 代理的决策能力
研究人员开发了一种名为“想象中的兄弟分歧”(Sibling Disagreement in Imagination, SDI)的新方法,以增强使用世界模型的代理的决策能力。SDI 允许代理比较想象中的结果,并决定探索哪些替代方案以及何时采纳提出的计划。通过比较同一模型状态下的动作序列,SDI 提供了探索信号并控制动作接受,在多个基准套件上表现优于现有基线。
-
新的研究框架评估多模态智能体与世界模型
一篇题为“Dual Exam: 多模态智能体与世界模型的受控评估”的新研究论文介绍了一个评估多模态智能体和世界模型能力的全新框架。研究发现,尽管这些组件理论上可以相互支持,但目前的实现方式在试点测试中表现不均衡,并且缺乏协同成功。该研究评估了不同领域中智能体和世界模型的各种配置,强调了实现有效交互和互惠学习需要进一步发展。