研究人员推出SAGE，一个旨在同时识别和预测人类动作及注视模式的新框架。与以往将这些元素分开处理的模型不同，SAGE将它们整合到一个单一的、端到端可训练的模型中。这种统一的方法利用了基于Transformer的架构，并结合了时空注意力机制，该机制纳入了注视数据来预测当前和未来的动作及注视行为。为了支持进一步的研究，还建立了一个名为Exo-Cook的新基准数据集。 AI
影响 通过同步的动作和注视分析更好地理解人类意图，这项研究可能带来更直观的人机交互。
排序理由 这是一篇介绍新模型和数据集的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
