Human Activity Understanding

视觉-语言模型难以对机器人进行细粒度的热活动识别

一项新近发表在arXiv上的研究，调查了视觉-语言模型（VLMs）在热成像中用于人类活动理解和人机交互（HRI）时的性能。研究发现，尽管这些模型能够识别一般的活动类别，但它们在识别咳嗽或打哈欠等细粒度动作时遇到困难，经常出现幻觉事件，并产生不准确的时间线。该研究评估了包括为机器人设计的模型在内的七个VLMs，发现简单的预处理和额外的推理仅提供了有限的改进，突显了在实际机器人应用中的可靠性问题。