Something-Something V2
PulseAugur coverage of Something-Something V2 — every cluster mentioning Something-Something V2 across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的知识蒸馏方法增强动作识别模型压缩
研究人员开发了一种新颖的通道动态知识蒸馏（KD）方法，称为 ASCD KD，以改进大型动作识别模型的压缩。该方法通过动态生成包含语义信息并保留运动细节的自适应样本来解决现有 KD 技术的局限性，而不是依赖于固定输入。此外，它应用了通道蒸馏强度，该强度考虑了不同通道在整个训练过程中不断变化的权重。在 UCF101、Kinetics-400 和 Something-Something-v2 等多个基准上的实验表明，ASCD KD 取得了最先进的性能。
-
新的视频Transformer模仿灵长类动物的视觉和大脑活动
研究人员开发了一种受灵长类动物视觉和神经数据启发的、新颖的视频Transformer架构。该模型包含一个稀疏令牌选择模块，以提高效率并模仿生物视觉处理。它还采用了一种分离-融合设计，具有独立的“什么”和“哪里”流，在分类前将它们合并。该模型在标准基准测试中展示了具有竞争力的准确性和推理时间，并显示出与EEG数据改进的大脑-模型相关性，表明其在脑对齐视频理解方面的有效性。
-
新框架从视频生成精确的机器人命令
研究人员开发了一个新的以对象为中心的视频理解框架，旨在生成精确的机器人操作命令。该系统将动作识别与对象识别分离，利用时间偏移模块（Temporal Shift Modules）进行动作分类，并采用一种新颖的对象选择算法来精确定位相关对象。通过视觉语言模型（Vision-Language Models）处理，所选对象能够实现强大的类别识别和零样本泛化能力，在修改版的Something-Something V2数据集上取得了高精度。
-
新AI模型通过关注物理交互来学习因果视频预测
研究人员开发了一种交互感知JEPA（IA-JEPA）模型，旨在通过关注物理交互而非仅仅视觉纹理来改进因果视频预测。这种新方法采用以运动为中心的掩码策略，优先处理碰撞和动量传递等事件，迫使模型学习潜在轨迹。IA-JEPA在CLEVRER基准的因果推理任务上达到了14.26%的准确率，显著优于标准基线，并展示了通往理解物理因果的自监督世界模型的路径。
-
TrAction 使用稀疏轨迹实现高效动作识别
研究人员开发了 TrAction，一种新颖的 Transformer 架构，用于使用稀疏点轨迹而非密集视频进行动作识别。该方法旨在减少依赖外观或背景线索的传统模型中存在的偏差。TrAction 在 Something-Something V2 和 EPIC-Kitchens-100 等基准测试中取得了有竞争力的准确率，并且与其他模型融合后，性能得到进一步提升。
-
Seer模型使用潜在扩散模型进行高效、语言指导的视频预测
研究人员开发了Seer，一种用于文本条件视频预测的新型模型，旨在帮助机器人进行规划和实现目标。Seer利用预训练的文本到图像扩散模型，通过增强的注意力机制和将全局指令分解为帧特定子指令的模块，将其改编为时间生成。这种方法可以实现高效的微调，生成高保真度和连贯的视频，与现有的最先进方法相比，计算成本和性能都有显著提高。