Exo-Cook

新的SAGE框架统一了动作和注视的识别与预测

研究人员推出SAGE，一个旨在同时识别和预测人类动作及注视模式的新框架。与以往将这些元素分开处理的模型不同，SAGE将它们整合到一个单一的、端到端可训练的模型中。这种统一的方法利用了基于Transformer的架构，并结合了时空注意力机制，该机制纳入了注视数据来预测当前和未来的动作及注视行为。为了支持进一步的研究，还建立了一个名为Exo-Cook的新基准数据集。