Temporal-Response Guidance

TRG新方法提升视频语言模型训练准确性

研究人员开发了一种名为时间响应引导（TRG）的新方法，以改进视频语言模型的训练。TRG通过利用学生模型的时序响应来指导教师监督，从而增强了on-policy蒸馏，旨在更好地捕捉时序学习。该方法包括测量模型对局部时序扰动的表示响应，并调整教师的校正。当应用于一个40亿参数的学生模型时，与标准的仅输出蒸馏相比，TRG在TempCompass和Video-MMMU等基准测试中将宏观准确率提高了2.86个百分点。