研究人员开发了Text2Sign，一种新颖的文本到手语视频生成模型，可以在单个NVIDIA L4 GPU上运行。该基于扩散的模型采用因子化时空注意力来保持运动连贯性，同时降低计算成本。虽然Text2Sign在How2Sign数据集上取得了有希望的结果，验证损失为0.00999，SSIM为0.2403，但其目前的局限性包括低分辨率输出、短片段生成以及缺乏专家语言学评估。 AI
影响 这项研究为文本到手语视频生成提供了一个更易于访问的基线，有可能降低该领域未来发展的门槛。
排序理由 该集群包含一篇详细介绍新模型及其性能指标的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.13164v1 Announce Type: cross Abstract: Sign language is a primary communication channel for millions of Deaf and hard-of-hearing people, yet text-to-signer video generation remains costly because video diffusion models are expensive to train and evaluate. This paper pr…
Sign language is a primary communication channel for millions of Deaf and hard-of-hearing people, yet text-to-signer video generation remains costly because video diffusion models are expensive to train and evaluate. This paper presents Text2Sign, a text-conditioned diffusion mod…