EPIC-KITCHENS-100
PulseAugur coverage of EPIC-KITCHENS-100 — every cluster mentioning EPIC-KITCHENS-100 across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的TARA攻击可以用单一物理纹理欺骗AI视频模型
研究人员开发了一种名为TARA（轨迹感知对抗性对齐和精炼攻击）的新方法，用于创建能够误导AI模型的物理对抗性纹理。这些纹理旨在跨越各种视角和物体-相机轨迹都有效，解决了动态环境中梯度不对齐的挑战。TARA使用轨迹感知对比对齐和任务精炼来确保被攻击的表示一致，并转化为预测错误，展示了世界模型和视频理解系统面临的重大安全漏洞。
-
MacJEPA模型应对来自自我中心视频的缺失传感器数据
研究人员推出MacJEPA，这是一种新颖的视听识别模型，旨在处理未修剪的自我中心视频中缺失的传感器数据。该模型通过重新定义模态缺失来解决实际场景中常见的暂时性传感器中断问题。MacJEPA通过利用掩码上下文和对齐潜在表示，有效地识别视觉动作和声学事件，即使在一个模态完全移除的情况下，在Epic-Kitchens-100和Epic-Sounds等数据集上也能展现出有竞争力的性能。
-
论文回顾语言在视频动作预测中的整合
一篇新发表在arXiv上的论文回顾了语言增强视频动作预测领域，该任务专注于从部分视频数据中预测未来人类动作。作者提出了一个证据感知的设计图谱来组织现有研究，并阐明了整合语言模型（LLMs）和视觉语言模型（VLMs）的好处。他们还引入了一个比较和消融不同模型组件的协议，强调了由于实验设置差异导致的解释报告收益中的挑战。
-
音频优先分类可削减自我中心视频字幕的VLM调用
研究人员开发了一种新颖的音频优先方法，用于高效字幕化长视频。该方法优先考虑音频线索，以决定哪些视频片段对视觉语言模型（VLM）的分析最相关，从而降低计算成本。通过训练系统每行动触发一次，而不是每帧触发一次，与现有的基于视觉特征或均匀采样的方法相比，该技术显著提高了行动覆盖率并减少了VLM调用，即使使用冻结的音频特征也是如此。
-
新框架Pegasus将人类视频转化为机器人学习数据
研究人员开发了Pegasus，一个旨在弥合机器人领域具身差距的新框架。该系统通过构建包含任务、可供性（affordance）和约束图谱的知识图谱，将人类操作视频转化为机器人可学习的数据。Pegasus利用分层可供性潜在空间进行泛化，并使用物理验证器来确保运动学可行性和关节限制的遵守。在GTEA Gaze+和EPIC-KITCHENS-100等基准测试中进行评估，Pegasus展示了可靠的跨具身转换能力，将机器人数据生成重新定义为一个可…
-
新的基准和模型推动了人工智能中以自我为中心的视频理解能力
研究人员正在开发新的方法和基准来提高多模态大语言模型（MLLMs）的时间和空间推理能力，特别是针对以自我为中心的视频理解。论文介绍了时间全局策略优化（TGPO）等技术来增强时间感知能力，以及Whareformer等模型用于跟踪长时以自我为中心的视频中的对象。新的基准，如EgoPolice和EgoExoMem，正在被创建，以在具有挑战性的数据集上评估这些模型，包括警方佩戴的摄像机录像和同步的以自我为中心/以外的视频对，突显了即使是像Ge…
-
新的具身人工智能系统利用自拍视频实现记忆和主动辅助
研究人员推出了新的具身人工智能系统和数据集，专注于从自拍视频中获取记忆和主动辅助。MEMORA 旨在为机器人配备具身动作记忆，通过四个记忆存储的形成、巩固和检索生命周期来改进规划和目标理解。另外，Vinci2 通过推理时间上下文来确定智能代理何时应进行干预，从而提供主动辅助，并引入了 EgoServe 基准和 EgoMemo 代理。此外，Open-AoE 为从自拍操作视频中进行具身学习提供了大规模数据集和工具链，促进了人机转移和世界建模。
-
TrAction 使用稀疏轨迹实现高效动作识别
研究人员开发了 TrAction，一种新颖的 Transformer 架构，用于使用稀疏点轨迹而非密集视频进行动作识别。该方法旨在减少依赖外观或背景线索的传统模型中存在的偏差。TrAction 在 Something-Something V2 和 EPIC-Kitchens-100 等基准测试中取得了有竞争力的准确率，并且与其他模型融合后，性能得到进一步提升。
-
TAP-JEPA模型在动作预测挑战赛中获得第二名
研究人员开发了TAP-JEPA，一种新颖的动作预测模型，在EPIC-KITCHENS-100挑战赛中获得第二名。该模型利用冻结的V-JEPA 2.1特征，使用ViT-G/384编码器和潜在预测器来估计未来的视频token。然后，这些token与观察到的上下文通过注意力探针融合，以预测动作，特别是动词、名词和动词-名词对。该提交的平均Top-5召回率为27.91%，以0.04个百分点的微弱劣势错失头名。