Egocentric Videos

新方法重新思考自我中心视频中的“跟我说话”检测

研究人员提出了一种新的方法来检测自我中心视频中何时有人在直接对摄像机佩戴者说话。该方法将问题从二元分类重新构建为在线、帧级别的预测，并考虑了各种非“跟我说话”（TTM）的状态，例如对他人说话或自言自语。创建了一个新的数据集，即在线TTM数据集，其中包含约90万个带注释的帧来支持这种表述。一个整合了音频、视觉和语音语义线索的多模态模型在TTM检测中达到了75.5%的帧级别F1分数。