DRA-TCLG

新AI框架根据歌唱音频生成粤语歌词

研究人员开发了ARIA，一个新颖的粤语歌词创作框架，可根据歌唱音频生成歌词。该两阶段系统首先使用三流感知关系音调估计器（TRATE）从原始音频中估计音调序列，该估计器模拟声学线索和音调结构。随后，解耦检索增强音调条件歌词生成器（DRA-TCLG）在这些预测的音调计划的条件下生成流畅的歌词，并得到词汇指导的增强。该框架得到了一个源自实际粤语歌唱录音的、包含对齐音频、粤拼和音调序列的新大规模数据集的支持。