PulseAugur
实时 10:00:52
English(EN) Automated Detection of Mutual Gaze and Joint Attention in Dual-Camera Settings via Dual-Stream Transformers

研究人员开发用于自动注视和注意力检测的双流Transformer

研究人员开发了一种新颖的双流Transformer架构,用于自动检测双摄像头记录中的相互注视和联合注意力。该新模型利用冻结的注视感知骨干网络和自定义令牌融合机制来分析个体之间复杂的关联动态。在照护者-婴儿互动中进行测试,该系统在性能上优于现有的卷积方法和最先进的多模态LLM。研究人员还发布了该模型及其预训练权重,以方便行为科学家使用和微调。 AI

影响 为行为科学家提供了一个可扩展、可微调的工具,用于分析互动动态,可能加速发展心理学研究。

排序理由 学术论文,介绍了一种用于特定研究任务的新模型架构。

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

研究人员开发用于自动注视和注意力检测的双流Transformer

报道来源 [1]

  1. arXiv cs.CV TIER_1 English(EN) · Jakub Kosmydel, Pawe{\l} Gajewski, Arkadiusz Bia{\l}ek ·

    通过双流 Transformer 在双摄像头设置中自动检测相互凝视和联合注意力

    arXiv:2604.27105v1 Announce Type: new Abstract: Analyzing mutual gaze (MG) and joint attention (JA) is critical in developmental psychology but traditionally relies on labor-intensive manual coding. Automating this process in multi-camera laboratory settings is computationally ch…