研究人员开发了TimeSteer,一个用于控制视听扩散模型中语音时序的新框架。这种无需训练的方法允许用户在不改变基础模型的情况下指定话语的开始-结束区间。TimeSteer识别语音的源跨度,并将相关的视听内容重新映射到所需的时间位置,从而实现对生成内容中语音发生时间的精确控制。该框架还引入了SpeechShift,一个用于评估区间级语音调度的基准。 AI
影响 能够对生成视听内容的时序方面进行更细粒度的控制,有可能提高AI驱动的媒体创作的真实感和用户体验。
排序理由 该项目是一篇研究论文,详细介绍了一种控制视听扩散模型的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- Gotit.pub
- Hugging Face
- Region-Aware Latent Remapping
- ScienceCast
- Source Span Localization
- SpeechShift
- TimeSteer
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →