CSL-Daily
PulseAugur coverage of CSL-Daily — every cluster mentioning CSL-Daily across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新框架推动实时手语翻译 · 已追踪2个来源
两篇新研究论文提出了手语翻译（SLT）的进展。一篇论文详细介绍了一个面向实时句级SLT的硬件感知流式系统，在How2Sign数据集上微调了SHuBERT-ByT5模型，并实现了低延迟。另一篇论文介绍了VTaMo，一个使用显式多粒度对齐来改进无手语词SLT的框架，在多个基准数据集上展示了最先进的性能。
-
新型多模态LLM在无词汇手语翻译方面达到最先进水平
研究人员开发了ViPo-MLLM，一个新颖的多模态大型语言模型，用于无词汇手语翻译。该框架整合了时空RGB数据和人体姿态特征，采用专用的编码器处理模态内动力学，并利用跨模态注意力处理长距离依赖。ViPo-MLLM在PHOENIX14T和CSL-Daily数据集上取得了新的最先进成果，展示了与基于词汇的方法相比具有竞争力的性能。
-
SIGNET框架通过运动知识迁移实现跨语言手语翻译
研究人员开发了SIGNET，一个旨在通过在不同手语之间迁移运动级知识来改进跨语言手语翻译的新框架。该方法利用预训练模型捕获可重用的视觉模式，并通过基于注意力的机制整合多个专家骨干网络。SIGNET在多个基准测试中展示了最先进的性能，包括How2Sign、Phoenix14T和CSL-Daily，并在手语识别的WLASL数据集上取得了优异的结果。
-
新框架推动手语生成与评估的进展
研究人员开发了SIGNER，一个用于从文本生成手语的新框架，该框架解决了时间对齐方面的局限性。通过使用时间解析的条件约束和局部时间融合，SIGNER确保了生成手语的正确词汇顺序和语义准确性。此外，还引入了一个名为BackTranslation2.0的新评估指标来评估手语生成，该指标使用了一个基于代理的框架和基于LLM的交叉引用模块，与以往的方法相比，提供了更具语言学基础的评估。
-
新的LLM和编码方法提升手语翻译能力
研究人员正在探索利用大型语言模型（LLM）和先进的编码技术来改进手语翻译（SLT）的新方法。一种方法使用GPT-4o生成释义的目标句子，以增强训练数据，提高翻译质量，尤其是在词汇量稀疏的语言中。另一种方法FEA-SLT将面部表情作为语义锚点，以解决手动手语配置中的歧义，在无词汇方法中取得了最先进的成果。此外，SAGE框架引入了段感知视觉标记，通过缩短输入序列长度来创建更高效、可扩展的无词汇SLT模型。
-
新方法通过选择性对比学习和偏好优化增强无词汇手语翻译
研究人员开发了新的方法来改进无词汇手语翻译，解决了将视觉手语视频与口语文本对齐的挑战。一种方法，手语翻译的选择性对比学习（SCL-SLT），使用对选择策略来识别和强调训练过程中信息量更大的负面示例，减少来自语义相似对的噪声。另一种方法，SignDPO，采用跨空间、时间、语言维度的多层次直接偏好优化来增强基于骨骼的手语翻译，其性能优于现有的无词汇技术。