Dual-Stream Transformers

研究人员开发用于自动注视和注意力检测的双流Transformer

研究人员开发了一种新颖的双流Transformer架构，用于自动检测双摄像头记录中的相互注视和联合注意力。该新模型利用冻结的注视感知骨干网络和自定义令牌融合机制来分析个体之间复杂的关联动态。在照护者-婴儿互动中进行测试，该系统在性能上优于现有的卷积方法和最先进的多模态LLM。研究人员还发布了该模型及其预训练权重，以方便行为科学家使用和微调。