WLASL
PulseAugur coverage of WLASL — every cluster mentioning WLASL across labs, papers, and developer communities, ranked by signal.
-
新AI模型在手语识别和生成方面取得进展
研究人员开发了超越传统闭集分类的新型手语识别和生成方法。一种方法利用视频字幕和描述检索来创建一个能够处理开放词汇和连续手语的反向手语词典，在识别已见和未见手语方面均有显著改进。另一种方法SignSeek通过对比学习手语并使用发音部位显著性引导掩码来学习手语词典检索的可迁移表示，在多种手语上取得了最先进的性能，甚至无需微调即可泛化到未见过的手语。SignMatch也通过学习原型结构嵌入空间来匹配词典手语与连续视频，展示了有效的跨语言泛化…
-
新型 Transformer 模型在手语识别领域达到 SOTA
研究人员开发了一种名为顺序时空注意力网络（SSTAN）的新型基于 Transformer 的架构，用于动态手语和字母拼写识别。该模型利用分层、堆叠的空间和时间多头注意力机制，在不依赖预定义图结构的情况下捕获复杂时空模式。在 WLASL、JSL 和 KSL 等大型数据集上的实验表明，SSTAN 在具有挑战性的字母拼写类别中取得了最先进的性能，并在 WLASL 上的骨骼识别方法中建立了新的 SOTA，展示了其数据效率。
-
新型轻量级Transformer模型提高了手语识别准确率
研究人员开发了TransSLR，这是一种轻量级的Transformer模型，专为手语识别而设计，特别是针对代表性不足的语言，如中非手语（CASL）。该模型基于几何关键点表示而非原始RGB图像运行，实现了独立于手语者的泛化能力，并降低了计算需求。TransSLR在CASL-W60基准测试中达到了80.39%的新最先进准确率，比之前的方法提高了10%以上。
-
SIGNET框架通过运动知识迁移实现跨语言手语翻译
研究人员开发了SIGNET，一个旨在通过在不同手语之间迁移运动级知识来改进跨语言手语翻译的新框架。该方法利用预训练模型捕获可重用的视觉模式，并通过基于注意力的机制整合多个专家骨干网络。SIGNET在多个基准测试中展示了最先进的性能，包括How2Sign、Phoenix14T和CSL-Daily，并在手语识别的WLASL数据集上取得了优异的结果。
-
SignMAE利用分割技术提高手语识别准确性
研究人员开发了SignMAE，一种新颖的手语识别自监督学习方法，该方法利用分割技术来更好地捕捉手部和身体动作的细微差别。与先前将姿势视为静态标记的方法不同，SignMAE的掩码和重建目标侧重于关键身体部位的动态存在和运动。通过使用更少的输入帧和模态来提高准确性，该方法在WLASL和NMFs-CSL等多个基准数据集上展示了最先进的性能。