mmMind-Bench

新型毫米波-语言模型mmMind弥合了雷达传感与大语言模型之间的差距

研究人员开发了mmMind，这是一种新颖的雷达-语言模型，旨在使大型语言模型能够理解物理空间中的人类行为。该模型在训练期间利用同步的3D姿态数据作为监督，使其在推理时仅凭毫米波雷达信号就能捕捉身体配置和运动动态。为了评估其有效性，研究团队还推出了mmMind-Bench，这是一个包含17.9小时真实世界录音的基准数据集。实验表明，在行为字幕和问答等任务中，mmMind的性能显著优于现有的雷达-语言基线，并且消融研究证实了姿态引导预训练的关键作用。