Chain-of-action Prompting

新的DAOS数据集和AOR-Net框架推动了多模态车内行为监测的发展

研究人员推出了驾驶员动作与对象协同（DAOS）数据集，这是一个用于车内多模态动作理解的新资源。该数据集包含9,787个视频片段、36种细粒度动作和15种对象类别，具有来自多个摄像头视图的同步RGB、红外和深度数据。为了利用该数据集，研究团队还开发了动作-对象-关系网络（AOR-Net），这是一个视觉-语言框架，利用链式动作提示和混合思维模块，通过局部对象和关系线索逐步进行全局运动的接地。