Sign language translation system based on micro-inertial measurement units and ZigBee network
PulseAugur coverage of Sign language translation system based on micro-inertial measurement units and ZigBee network — every cluster mentioning Sign language translation system based on micro-inertial measurement units and ZigBee network across labs, papers, and developer communities, ranked by signal.
- 2026-05-10 research_milestone A new paper explores trade-offs in frame rate and model size for compact Sign Language Translation systems. 来源
1 天有情绪数据
-
新的ReSCUE框架支持对无分段手语进行实时翻译
研究人员开发了ReSCUE，一个专为无分段长格式视频同步手语翻译设计的新型框架。该系统解决了当前依赖预分段输入的方法的局限性，使其不适用于现实世界的流媒体应用。ReSCUE集成了推理感知训练、用于低延迟预测的稳定再翻译以及用于在线分段和内存管理的句子承诺机制。实验表明，与现有系统相比，ReSCUE在翻译质量和延迟方面均表现更优，在实时运行的同时接近离线系统的性能。
-
新框架统一手语翻译与生成
研究人员开发了Uni-SLTP，一个旨在将手语翻译（SLT）和手语生成（SLP）统一在单一系统中的新颖框架。与之前主要将手语映射到文本的SLU任务不同，这种方法解决了手语动作和文本之间双向映射的挑战。Uni-SLTP利用共享的手语分词器将手语序列转换为捕获语义和重建信息的离散标记，并使用统一的自回归模型进行生成。在公开数据集上的实验表明，Uni-SLTP在保持SLT竞争性性能的同时，实现了高运动精度（SLP）。
-
LLM通过合成视频数据提升手语翻译
研究人员开发了一种新颖的方法，利用大型语言模型（LLM）来增强手语翻译（SLT）数据集。该方法通过从现有的词汇注释语料库中提取片段，并使用LLM创建新的句子词汇，来生成合成的视频-文本对。合成数据显著提高了SLT性能，在基线之上实现了2.92的BLEU-4增益，而无需额外的人工标注或生成式视频模型。研究还发现，优化片段过渡的视觉平滑度可能适得其反，表明突然的边界可能提供隐式正则化。
-
新的LLM和编码方法提升手语翻译能力
研究人员正在探索利用大型语言模型（LLM）和先进的编码技术来改进手语翻译（SLT）的新方法。一种方法使用GPT-4o生成释义的目标句子，以增强训练数据，提高翻译质量，尤其是在词汇量稀疏的语言中。另一种方法FEA-SLT将面部表情作为语义锚点，以解决手动手语配置中的歧义，在无词汇方法中取得了最先进的成果。此外，SAGE框架引入了段感知视觉标记，通过缩短输入序列长度来创建更高效、可扩展的无词汇SLT模型。