研究人员开发了一种名为时间响应引导(TRG)的新方法,以改进视频语言模型的训练。TRG通过利用学生模型的时序响应来指导教师监督,从而增强了on-policy蒸馏,旨在更好地捕捉时序学习。该方法包括测量模型对局部时序扰动的表示响应,并调整教师的校正。当应用于一个40亿参数的学生模型时,与标准的仅输出蒸馏相比,TRG在TempCompass和Video-MMMU等基准测试中将宏观准确率提高了2.86个百分点。 AI
影响 提高了视频语言模型的训练效率和准确性,可能增强多模态AI能力。
排序理由 该集群包含一篇详细介绍新AI模型训练方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- Hugging Face
- MiniLLM
- MVBench
- On-policy distillation
- TempCompass
- Temporal-Response Guidance
- Video-language Models
- Video-MME
- Video-MMMU
- Video-OPD
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →