Lotas

新框架LoTAS通过长期记忆增强视频显著对象排序

研究人员推出了一种新颖的框架LoTAS，旨在通过有效建模长期记忆和时间注意力转移来改进视频显著对象排序（VSOR）。该方法解决了现有VSOR方法在处理短输入帧片段时存在的局限性，这些局限性阻碍了它们跟踪长时间内显著性演变的能力。LoTAS包含一个用于历史显著性状态的时间上下文解码器和一个用于更新记忆的感知排序显著性状态编码器，同时还引入了帧间排序转换监督。为了进一步支持该领域的研究，还创建了一个包含多样化视频类型和场景的新挑战性数据集。