V-JEPA 2
PulseAugur coverage of V-JEPA 2 — every cluster mentioning V-JEPA 2 across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的PULS系统使用语义世界模型管道预测视频异常
研究人员开发了PULS（预测统一潜在空间），一种用于连续视频异常检测的新型管道，它超越了被动响应方法。PULS由KSD桥组成，该桥使用Qwen3-VL-Embedding-2B将V-JEPA 2的物理张量转换为文本对齐的超球体，以及一个预测状态预测器（ASP）。这种方法在UCF-Crime和XD-Violence等数据集上取得了出色的性能，证明了潜在清晰度假说，即预期的未来表征比当前表征在语义上更易分离。ASP模块进一步完善了这些预期…
-
新的 Cross4D-JEPA 方法蒸馏 2D 模型以理解 4D 点云
研究人员推出了一种新颖的自监督学习方法 Cross4D-JEPA，用于理解动态 4D 点云。该方法将来自 DINOv2 和 V-JEPA 2 等 2D 图像或视频基础模型的知识蒸馏到一个 4D 点编码器中。Cross4D-JEPA 利用密集的跨模态对应关系将 3D 点映射到教师块特征，训练学生编码器以匹配这些特征，而无需掩码、负样本或解码器。与单模态和全局跨模态基线相比，该方法在 MSR-Action3D 和 NTU RGB+D 60…
-
新研究推动机器人和AR三维场景图生成技术
三篇新研究论文介绍了生成三维语义场景图的先进方法，这对于理解和与三维环境交互至关重要。DeWorldSG 利用世界模型先验和概率三维节点来提高时间一致性和关系准确性。NoPA 专注于非参数对象表示和定制化的合并策略，以实现实时推理而不牺牲几何细节。OP3DSG 引入了一个开放词汇、部件感知的框架，该框架联合建模对象、部件和各种关系，并提供了一个新的评估基准。
-
AI通过视频预测关节力，绕过侵入性方法
研究人员开发了一种新颖的流程，能够从单目视频中预测体内关节接触力，而无需侵入性测量或特定于受试者的模型。该系统利用参数化身体网格和Transformer模型，并结合自监督视频令牌，来准确估计髋部和膝部的力。该方法实现的准确性可与复杂的肌肉骨骼模拟相媲美，并有望在临床应用中发挥作用，例如回顾性分析和居家康复跟踪。
-
TrAction 使用稀疏轨迹实现高效动作识别
研究人员开发了 TrAction，一种新颖的 Transformer 架构，用于使用稀疏点轨迹而非密集视频进行动作识别。该方法旨在减少依赖外观或背景线索的传统模型中存在的偏差。TrAction 在 Something-Something V2 和 EPIC-Kitchens-100 等基准测试中取得了有竞争力的准确率，并且与其他模型融合后，性能得到进一步提升。
-
狮山实验室发布LiOS，连接云端AI模型与机器人
招商局狮山人工智能实验室的研究人员开发了LiOS系统，旨在弥合云端AI模型与现实世界机器人应用之间的差距。该系统解决了将大型语言模型与机器人硬件集成所带来的复杂性以及对计算资源的持续需求。LiOS为具身AI模型提供了一个闭环迭代流程，能够实现高效的数据收集、模型训练和在实体机器人上的部署。
-
潜在视频模型展现出强大的世界建模能力
一项新研究系统地评估了四种前沿视频基础模型：V-JEPA 2.1、V-JEPA 2、VideoPrism 和 VideoMAEv2，涵盖了与其作为世界模型相关的五个鲁棒性维度。研究发现，在特征可辨性、损坏鲁棒性、细粒度辨别、遮挡鲁棒性和时间方向编码方面，潜在预测模型始终优于其他模型。值得注意的是，一个冻结的 V-JEPA 2 主干模型在损坏和遮挡任务上的鲁棒性优于完全微调的模型，这表明潜在预测在鲁棒世界建模方面具有优势。