ST-CueGate

StreamOPD 通过新颖的训练后方法增强流式视频理解能力

研究人员开发了 StreamOPD，这是一种新颖的训练后方法，旨在增强流式视频理解能力，而无需额外的推理时间内存或检索系统。该技术利用具有密集令牌级监督的策略内蒸馏 (OPD)，并针对无内存滑动窗口协议进行了调整。一个关键组件时空线索门控 (ST-CueGate) 通过基于教师似然比重新加权 OPD，进一步优化了该过程，显著提高了在 StreamingBench 和 OVO-Bench 等基准测试上的性能。