Speak to the City

新框架利用注视点和语言识别车外位置

研究人员开发了一个新框架，通过结合用户注视点和自然语言来帮助识别车辆外部的兴趣点（POIs）。该系统名为“Speak to the City”，解决了因车辆移动和模糊引用而导致的定位难题。为了克服动态车辆数据的缺失，创建了一个虚拟现实管道，将交通视频与车辆遥测数据同步。一项用户研究捕捉了注视点-语音行为，然后用这些数据训练了一个轻量级Transformer网络，该网络将空间注视点与口头语境对齐，实现了高准确率和快速推理时间。