sign language recognition
PulseAugur coverage of sign language recognition — every cluster mentioning sign language recognition across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新框架统一手语翻译与生成
研究人员开发了Uni-SLTP，一个旨在将手语翻译（SLT）和手语生成（SLP）统一在单一系统中的新颖框架。与之前主要将手语映射到文本的SLU任务不同，这种方法解决了手语动作和文本之间双向映射的挑战。Uni-SLTP利用共享的手语分词器将手语序列转换为捕获语义和重建信息的离散标记，并使用统一的自回归模型进行生成。在公开数据集上的实验表明，Uni-SLTP在保持SLT竞争性性能的同时，实现了高运动精度（SLP）。
-
AI模型在手语识别中展现出涌现的音位敏感性
一项新的研究论文调查了为手语识别（SLR）训练的深度学习模型在音位感知能力，特别关注美国手语（ASL）。该研究使用最小对探查模型，并将其表征与人类行为数据进行比较。研究结果表明，虽然SLR模型展现出涌现的音位敏感性，但其性能受到架构偏差的影响，姿态（pose-based）模型在手形识别方面表现出色，而像素（pixel-based）模型在位置变化方面表现出色。姿态模型也与人类感知判断表现出中等程度的相关性。
-
新框架通过空间索引改进手语模型
研究人员开发了一个新框架，通过关注空间索引来改进手语模型，空间索引是手语中一个至关重要但常被忽视的方面。该方法将空间引用的解析分解为索引检测和话语实体链接，旨在更好地捕捉用于共指的指示手势。所提出的方法为面向索引的手语建模奠定了基线，并可以增强现有模型以提高它们对非词汇构建的理解。
-
用于鲁棒低数据序列学习的GRU对比增强门控
研究人员开发了一种名为平方S型函数-双曲正切函数（SST）的新激活函数，旨在提高门控循环单元（GRU）在序列学习任务中的性能，尤其是在训练数据有限的情况下。这种无参数的修改增强了门激活之间的对比度，从而实现了更清晰的信息过滤和更稳定的学习。在手语识别、人类活动识别和时间序列预测方面的评估表明，SST-GRU在数据稀缺环境中始终优于标准GRU，且计算成本增加极少。