AVCap-100K

新型AVCap模型通过丰富的数据集和指标增强视听字幕

研究人员推出AVCap，一种用于详细视听联合字幕的新型模型，解决了现有数据集和评估方法的局限性。该模型在AVCap-100K上进行训练，这是一个包含10万个时间对齐、丰富的视听字幕的新数据集。AVCap采用细节感知GRPO（Da-GRPO）强化学习方法，在开源模型中取得了最先进的性能。为了进一步推动该领域的发展，该团队还开发了AVCap-Bench和AVCap-Score，这是一个用于评估视听字幕中原子级细节的专用基准和指标。