YT-Temporal-1B

原始视频中期训练提升LLM在视觉任务上的性能

研究人员探索了在中期训练大型语言模型时使用原始视频数据（无字幕或文本监督）的有效性。通过将视频帧编码为视觉标记，并训练语言模型来预测下一个视觉标记，他们发现在视频和图像基准测试中都有显著的改进。与未经此中期训练的模型相比，中期训练的Qwen3-1.7B模型在视频任务上提高了2.9分，在图像任务上提高了5.1分。值得注意的是，文本性能保持稳定，而视觉任务上的提升在训练早期就出现了。