Reframed

新的REFRAMED数据集旨在为电影生成真实的音频描述

研究人员推出了REFRAMED，这是一个用于生成电影真实音频描述的新数据集和新方法。与依赖预先指定内容和时间的先前方法不同，REFRAMED要求模型联合决定描述什么以及何时将描述插入对话的间隙中。该数据集包括来自206部电影的2023个视频的专业音频描述、字幕和对齐的剧本。虽然目前最先进的系统比基本基线有所改进，但仍未达到人类专家的水平。