DREAM-1K

VDC-Agent框架实现自主进化的视频字幕生成

研究人员开发了VDC-Agent，一个新颖的框架，使单个多模态大型语言模型能够自主生成和优化视频详细字幕。该自进化系统通过采用基于原则的自我反思过程，克服了对昂贵的人工标注或外部模型的依赖。为了提高效率，模型通过课程直接偏好优化策略将反思能力内化，该策略使用从代理自我评分轨迹派生的偏好数据集。实验表明，VDC-Agent在VDC和DREAM-1K基准测试中取得了最先进的性能，提高了字幕的细节和准确性，同时保持了推理效率。