CSL-Daily
PulseAugur coverage of CSL-Daily — every cluster mentioning CSL-Daily across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
SignRAG框架推动无词汇手语翻译
研究人员开发了SignRAG，一个新颖的无词汇手语翻译框架，增强了仅解码器的大型语言模型的能力。该系统集成了分层预训练、带有目标域图库的检索增强，以及由检索效用指导的强化微调。该方法旨在通过提供实例特定的线索并确保有效利用检索到的上下文来提高翻译质量，在CSL-Daily基准上设定了新的最先进性能。
-
手语翻译模型因 the Signer Dependence而被高估
一篇新发表在arXiv上的研究论文强调了手语翻译（SLT）模型评估中存在的显著高估问题。研究发现，当前包含训练和测试数据集中重叠 the Signer 的评估方法会导致性能得分虚高。当使用 the Signer-independent 协议进行评估时，像 GFSLT-VLP、GASLT 和 SignCL 等领先的 SLT 模型的性能急剧下降，在 PHOENIX14T 数据集上的 BLEU-4 分数从超过 21 分降至低至 3.59 分…
-
新的基准和模型提高了手语翻译的准确性 · 跟踪3 个来源
研究人员正在开发新的手语翻译 (SLT) 基准和模型，以提高准确性并捕捉传统指标之外的细微差别。一篇论文提出了一种基于 LLM 的 QA 协议，以更好地评估时空理解和内容保留，揭示了除一个词汇监督系统外，当前模型的表现相似。另一篇论文介绍 SignBind-LLM，一个具有专家流的模块化框架，用于连续手语、拼写和唇读，在多个数据集上取得了最先进的结果。第三篇论文提出了 M3T，一个用于手语生成系统，该系统集成了面部表情和头部运动等非手…
-
新AI模型在手语识别和生成方面取得进展
研究人员开发了超越传统闭集分类的新型手语识别和生成方法。一种方法利用视频字幕和描述检索来创建一个能够处理开放词汇和连续手语的反向手语词典，在识别已见和未见手语方面均有显著改进。另一种方法SignSeek通过对比学习手语并使用发音部位显著性引导掩码来学习手语词典检索的可迁移表示，在多种手语上取得了最先进的性能，甚至无需微调即可泛化到未见过的手语。SignMatch也通过学习原型结构嵌入空间来匹配词典手语与连续视频，展示了有效的跨语言泛化…
-
SMART框架在MLLM的指导下统一了手语识别和识别
研究人员开发了SMART，一个利用多模态大语言模型（MLLM）统一手语识别和识别的新框架。该方法利用MLLM生成的运动描述作为语义线索，以改善视频-文本对齐，即使在小批量大小的情况下也是如此，这对于内存密集型手语视频训练至关重要。SMART还增强了时序表示学习和密集时序定位，并在四个基准数据集上证明了其有效性。
-
受常微分方程启发的动力学增强手语翻译模型
研究人员通过常微分方程（ODE）的视角重新诠释了Transformer解码器的迭代细化过程，开发了一种新颖的手语翻译方法。该方法用高阶数值积分方案（如Runge--Kutta方法（RK-2和RK-4））取代了标准的残差细化更新。这些受ODE启发的动力学在不增加模型大小的情况下增强了表示更新，为扩展模型容量提供了一种参数高效的替代方案。在PHOENIX-2014-T和CSL-Daily数据集上的实验表明，RK-2的性能优于IPSLT基线…
-
发布新的手语问答任务和基准
研究人员推出了一项名为手语问答（SLQA）的新任务，以更好地评估超越简单识别或翻译的手语理解能力。该任务要求模型回答关于手语视频的自然语言问题，评估更广泛的推理能力。为了支持SLQA，创建了两个基准数据集SignQA，使用了PHOENIX14T和CSL-Daily，包含五类（如位置推理和视觉搜索）的问答对。还提出了一个包含问答条件调制时间降采样模块的基线模型，该模型在这些基准上的表现优于现有的视觉语言模型。
-
新的DualAnchor框架提高了手语翻译的准确性
研究人员开发了DualAnchor，这是一个新的手语翻译（SLT）框架，旨在提高翻译文本的流畅性和词汇细节的准确性。该框架解决了两个关键问题：语言先验退化，即现有方法未能充分利用大型语言模型（LLM）的全部能力；以及词汇保真度差距，即句子级对齐未能实现细粒度的词语准确性。DualAnchor采用Token级先验锚定（TPA）来保持LLM的语言先验，并采用最优传输对齐（OTA）来增强视觉-文本匹配，在PHOENIX-2014T和CSL-…
-
新的扩散模型生成生物力学上可行的3D手语
研究人员开发了PIDiffSign，这是一种新颖的、面向物理信息的扩散模型，旨在根据口语输入生成生物力学上可行的3D手语。该模型将解剖学约束直接纳入其架构和训练目标，解决了先前方法中允许不切实际的骨骼运动的局限性。通过强制执行骨骼长度一致性和有效的关节角度，PIDiffSign旨在提高生成运动的真实感和手语输出的语义准确性，并在基准数据集上显示出有希望的结果。
-
新框架推动实时手语翻译 · 已追踪2个来源
两篇新研究论文提出了手语翻译（SLT）的进展。一篇论文详细介绍了一个面向实时句级SLT的硬件感知流式系统，在How2Sign数据集上微调了SHuBERT-ByT5模型，并实现了低延迟。另一篇论文介绍了VTaMo，一个使用显式多粒度对齐来改进无手语词SLT的框架，在多个基准数据集上展示了最先进的性能。
-
新型多模态LLM在无词汇手语翻译方面达到最先进水平
研究人员开发了ViPo-MLLM，一个新颖的多模态大型语言模型，用于无词汇手语翻译。该框架整合了时空RGB数据和人体姿态特征，采用专用的编码器处理模态内动力学，并利用跨模态注意力处理长距离依赖。ViPo-MLLM在PHOENIX14T和CSL-Daily数据集上取得了新的最先进成果，展示了与基于词汇的方法相比具有竞争力的性能。
-
SIGNET框架通过运动知识迁移实现跨语言手语翻译
研究人员开发了SIGNET，一个旨在通过在不同手语之间迁移运动级知识来改进跨语言手语翻译的新框架。该方法利用预训练模型捕获可重用的视觉模式，并通过基于注意力的机制整合多个专家骨干网络。SIGNET在多个基准测试中展示了最先进的性能，包括How2Sign、Phoenix14T和CSL-Daily，并在手语识别的WLASL数据集上取得了优异的结果。
-
新框架推动手语生成与评估的进展
研究人员开发了SIGNER，一个用于从文本生成手语的新框架，该框架解决了时间对齐方面的局限性。通过使用时间解析的条件约束和局部时间融合，SIGNER确保了生成手语的正确词汇顺序和语义准确性。此外，还引入了一个名为BackTranslation2.0的新评估指标来评估手语生成，该指标使用了一个基于代理的框架和基于LLM的交叉引用模块，与以往的方法相比，提供了更具语言学基础的评估。
-
新的LLM和编码方法提升手语翻译能力
研究人员正在探索利用大型语言模型（LLM）和先进的编码技术来改进手语翻译（SLT）的新方法。一种方法使用GPT-4o生成释义的目标句子，以增强训练数据，提高翻译质量，尤其是在词汇量稀疏的语言中。另一种方法FEA-SLT将面部表情作为语义锚点，以解决手动手语配置中的歧义，在无词汇方法中取得了最先进的成果。此外，SAGE框架引入了段感知视觉标记，通过缩短输入序列长度来创建更高效、可扩展的无词汇SLT模型。
-
新方法通过选择性对比学习和偏好优化增强无词汇手语翻译
研究人员开发了新的方法来改进无词汇手语翻译，解决了将视觉手语视频与口语文本对齐的挑战。一种方法，手语翻译的选择性对比学习（SCL-SLT），使用对选择策略来识别和强调训练过程中信息量更大的负面示例，减少来自语义相似对的噪声。另一种方法，SignDPO，采用跨空间、时间、语言维度的多层次直接偏好优化来增强基于骨骼的手语翻译，其性能优于现有的无词汇技术。