研究人员推出了驾驶员动作与对象协同(DAOS)数据集,这是一个用于车内多模态动作理解的新资源。该数据集包含9,787个视频片段、36种细粒度动作和15种对象类别,具有来自多个摄像头视图的同步RGB、红外和深度数据。为了利用该数据集,研究团队还开发了动作-对象-关系网络(AOR-Net),这是一个视觉-语言框架,利用链式动作提示和混合思维模块,通过局部对象和关系线索逐步进行全局运动的接地。 AI
影响 增强了复杂环境下的多模态理解能力,有望改进驾驶员辅助和监测系统。
排序理由 该集群描述了在arXiv论文中提出的新数据集和新颖框架。[lever_c_demoted from research: ic=1 ai=1.0]
- Action-Object-Relation Network
- alphaXiv
- AOR-Net
- arXiv
- CatalyzeX
- Chain-of-action Prompting
- DagsHub
- DAOS
- Driver Action with Object Synergy
- Gotit.pub
- Hugging Face
- Mixture of Thoughts
- ScienceCast
- Yiming Li
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →