English(EN) Adding Voice Cloning to Text-to-Audio-Video Models with a Single Zero-Initialised Layer

新方法使文本到音频视频模型能够进行语音克隆

作者 PulseAugur 编辑部 · [1 个来源] · 2026-08-18 04:00

研究人员开发了一种为文本到音频视频（T2AV）生成模型添加语音克隆功能的方法。通过引入一个单一的零初始化线性层并进行微调，T2AV模型可以从简短的参考录音中克隆语音。这种方法在说话人编码器余弦相似度方面显著优于现有的语音克隆文本到语音基线。 AI

影响通过允许自定义语音集成，能够生成更具个性化和逼真度的视听内容。

排序理由该集群包含一篇学术论文，详细介绍了AI模型中语音克隆的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Ivan Mikheev, Viacheslav Vasilev, Anna Dmitrienko, Alexey Letunovskiy, Ivan Kirillov, Kirill Chernyshev, Denis Dimitrov · 2026-08-18 04:00

为文本到音频视频模型添加具有单一零初始化层的语音克隆功能

arXiv:2608.15690v1 Announce Type: cross Abstract: Text-to-audio-video (T2AV) generation models produce a video and its soundtrack from a textual description, but offer no control over whose voice speaks in the output. We show that a base T2AV model can be turned into a voice-clon…