研究人员开发了一种新的运动编码器两阶段预训练方法,旨在提高美国手语(ASL)的理解能力。该方法首先重建掩码运动,然后联合预测伪术语单元和运动。该方法利用伪术语,它们是通过使用大型语言模型从字幕中派生出的结构化表示。当应用于精选的 ASL 数据语料库时,该策略产生了一个翻译模型,该模型在多个数据集上超越了现有的最先进方法,并且随着翻译数据的减少,性能增益增加。 AI
影响 这项研究引入了一种新颖的预训练策略,显著提高了美国手语的理解能力,有可能提高聋哑和听障社区的可及性。
排序理由 该项目描述了一篇研究论文中提出的手语理解新颖预训练方法。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
- American Sign Language
- ASL STEM Wiki
- How2Sign
- MoGloss
- OpenASL
- SHuBERT
- Uni-Sign
- WLASL2000
- YouTube-ASL
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →