研究人员开发了MV-Sign,一个旨在通过文本改进手语生成的新框架。该系统通过整合视图多重3D运动数据和增强文本到运动条件化路径,解决了当前方法存在的限制,如监督噪声和薄弱的文本条件化。MV-Sign利用了一个新颖的数据集How2Sign-MV3D,该数据集通过跨视图策展管道创建,以解决遮挡问题并过滤不相关的片段。该框架还包含了一个手语感知的时空VQ-VAE,用于联合身体-手部标记化和关键帧感知的检索,以改进文本到运动的对齐,与现有的最先进方法相比,显著降低了运动误差。 AI
影响 通过增强的手语生成能力,改善了聋哑和听力障碍社群的可访问性和沟通工具。
排序理由 该集群包含一篇详细介绍手语生成新框架和数据集的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →