How2Sign
PulseAugur coverage of How2Sign — every cluster mentioning How2Sign across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
SIGNET框架通过运动知识迁移实现跨语言手语翻译
研究人员开发了SIGNET，一个旨在通过在不同手语之间迁移运动级知识来改进跨语言手语翻译的新框架。该方法利用预训练模型捕获可重用的视觉模式，并通过基于注意力的机制整合多个专家骨干网络。SIGNET在多个基准测试中展示了最先进的性能，包括How2Sign、Phoenix14T和CSL-Daily，并在手语识别的WLASL数据集上取得了优异的结果。
-
新型混合模型提升实时手语生成能力
研究人员开发了HybridSign，一种融合了自回归和扩散技术的新型模型，可实现更高效、实时的手语生成。该方法旨在克服扩散模型的延迟问题和自回归模型的错误累积问题。HybridSign采用多尺度姿态表示和置信度感知因果注意力机制，以增强鲁棒性并捕捉详细的发音器官特征。在基准数据集上的实验表明，HybridSign在生成质量和速度之间取得了卓越的平衡，显著降低了延迟并提高了吞吐量。
-
新指标揭示手语AI模型缺乏忠实度
研究人员开发了用于手语生成模型的新评估指标，超越了FID和BLEU分数等传统测量方法。这些新指标独立评估初始姿势条件、输出多样性和目标忠实度。在How2Sign数据集上测试14个模型后发现，没有一个模型达到足够的忠实度，这表明数据集大小是准确手语生成的一个关键瓶颈。
-
人工智能研究致力于高效、可及的手语翻译
两篇新研究论文探讨了手语翻译（SLT）技术的进展，重点在于使系统更高效、更易于低资源语言使用。其中一篇论文提出了一种以数据为中心的方法和社区共创设计，适用于阿塞拜疆手语等语言，倡导进行适合翻译者的自适应系统和特定任务的评估。另一篇论文详细介绍了一个紧凑的7700万参数SLT流程，通过降低输入帧率来减少计算复杂性，展示了效率与准确性之间的权衡。
-
新方法通过选择性对比学习和偏好优化增强无词汇手语翻译
研究人员开发了新的方法来改进无词汇手语翻译，解决了将视觉手语视频与口语文本对齐的挑战。一种方法，手语翻译的选择性对比学习（SCL-SLT），使用对选择策略来识别和强调训练过程中信息量更大的负面示例，减少来自语义相似对的噪声。另一种方法，SignDPO，采用跨空间、时间、语言维度的多层次直接偏好优化来增强基于骨骼的手语翻译，其性能优于现有的无词汇技术。