VideoSAUR

SemanticSlots 通过 Transformer 解码器推进视频对象中心学习

研究人员推出了 SemanticSlots，一种用于视频对象中心学习的新颖方法，解决了传统解码器架构的局限性。通过采用基于 Transformer 的解码器，SemanticSlots 使槽能够充当独立于对象位置的语义查询，从而能够在没有复杂时间预测器的情况下分解后续视频帧。该方法在 YouTube-VIS 数据集上显著提高了性能，在 mBO 上比以前的最先进方法提高了 21 个点，并达到了 86.6% 的 ARI。