实体
LRS3
LRS3
PulseAugur coverage of LRS3 — every cluster mentioning LRS3 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新框架可根据面部图像生成语音
研究人员开发了一个新颖的面部到语音（F2S）框架，能够从静态面部图像生成逼真的声音，克服了文本到语音（TTS）系统需要参考音频的限制。该系统利用一个轻量级的面部适配器，将面部识别特征与冻结的StyleTTS 2模型的风格空间对齐。在LRS3数据集上的评估表明，合成语音高度自然，声音生成一致，并且面部到语音检索的准确率高于随机水平。值得注意的是，一个英语训练的适配器也能生成流利的西班牙语语音，这表明面部到风格的映射在很大程度上是与语言无关的。
-
新的VSR方法利用头部姿态提高准确性
研究人员开发了一个名为HP-VSR-ResFiLM的新框架，通过显式地整合头部姿态信息来改进视觉语音识别（VSR）。该方法使用一个姿态条件残差特征线性调制（FiLM）块，根据头部方向调整视觉特征，以应对几何失真和遮挡等挑战。在LRS2和LRS3数据集上的实验显示出具有竞争力的性能，词错误率分别为25.0%和33.2%，证明了在非约束VSR场景下鲁棒性的提高。