Katerina Vinciguerra

新AI系统利用音频跟踪隐藏车辆

研究人员开发了一种新颖的两阶段系统，利用音频表示来检测和跟踪隐藏的动态对象。第一阶段涉及受联合嵌入预测架构（JEPA）的启发，在原始音频波形上进行自监督预训练，以根据过去的上下文预测未来的音频片段。随后，使用具有三个分类头的双向LSTM进行监督多任务微调，以估计车辆数量、类型和到达方向。该系统在一个新收集的数据集上进行了评估，与现有方法相比表现出优越的性能，并显示出可转移到未见过的驾驶场景的鲁棒表示。