RoadTones-Eval

新数据集和模型实现音调可控视频字幕生成

研究人员开发了一种从道路事件视频进行音调可控文本生成的新方法，解决了现有视频语言模型仅提供事实描述的局限性。该项目推出了 RoadTones-51K 数据集，其中包含通过人工验证的数据生成管道得出的多样化音调注释和多音调字幕。他们还提出了 RoadTones-VL-CoT 模型，该模型能够生成音调条件下的思维链草稿，以提高可解释性，并提出了一个新的评估套件 RoadTones-Eval，用于衡量事实一致性和音调遵循度。