EPIC-KITCHENS-100
PulseAugur coverage of EPIC-KITCHENS-100 — every cluster mentioning EPIC-KITCHENS-100 across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的基准和模型推动了人工智能中以自我为中心的视频理解能力
研究人员正在开发新的方法和基准来提高多模态大语言模型（MLLMs）的时间和空间推理能力，特别是针对以自我为中心的视频理解。论文介绍了时间全局策略优化（TGPO）等技术来增强时间感知能力，以及Whareformer等模型用于跟踪长时以自我为中心的视频中的对象。新的基准，如EgoPolice和EgoExoMem，正在被创建，以在具有挑战性的数据集上评估这些模型，包括警方佩戴的摄像机录像和同步的以自我为中心/以外的视频对，突显了即使是像Ge…
-
新的具身人工智能系统利用自拍视频实现记忆和主动辅助
研究人员推出了新的具身人工智能系统和数据集，专注于从自拍视频中获取记忆和主动辅助。MEMORA 旨在为机器人配备具身动作记忆，通过四个记忆存储的形成、巩固和检索生命周期来改进规划和目标理解。另外，Vinci2 通过推理时间上下文来确定智能代理何时应进行干预，从而提供主动辅助，并引入了 EgoServe 基准和 EgoMemo 代理。此外，Open-AoE 为从自拍操作视频中进行具身学习提供了大规模数据集和工具链，促进了人机转移和世界建模。
-
TrAction 使用稀疏轨迹实现高效动作识别
研究人员开发了 TrAction，一种新颖的 Transformer 架构，用于使用稀疏点轨迹而非密集视频进行动作识别。该方法旨在减少依赖外观或背景线索的传统模型中存在的偏差。TrAction 在 Something-Something V2 和 EPIC-Kitchens-100 等基准测试中取得了有竞争力的准确率，并且与其他模型融合后，性能得到进一步提升。
-
TAP-JEPA模型在动作预测挑战赛中获得第二名
研究人员开发了TAP-JEPA，一种新颖的动作预测模型，在EPIC-KITCHENS-100挑战赛中获得第二名。该模型利用冻结的V-JEPA 2.1特征，使用ViT-G/384编码器和潜在预测器来估计未来的视频token。然后，这些token与观察到的上下文通过注意力探针融合，以预测动作，特别是动词、名词和动词-名词对。该提交的平均Top-5召回率为27.91%，以0.04个百分点的微弱劣势错失头名。