Temporal MHA

新型 Transformer 模型在手语识别领域达到 SOTA

研究人员开发了一种名为顺序时空注意力网络（SSTAN）的新型基于 Transformer 的架构，用于动态手语和字母拼写识别。该模型利用分层、堆叠的空间和时间多头注意力机制，在不依赖预定义图结构的情况下捕获复杂时空模式。在 WLASL、JSL 和 KSL 等大型数据集上的实验表明，SSTAN 在具有挑战性的字母拼写类别中取得了最先进的性能，并在 WLASL 上的骨骼识别方法中建立了新的 SOTA，展示了其数据效率。