REAL-T challenge

新的PS4框架增强了从真实对话中提取说话人的能力

研究人员开发了一个名为PS4的新框架，用于在真实的对话音频上训练目标说话人提取（TSE）模型。该方法通过构建一个包含71,000多个样本的语料库来解决大规模、干净的训练数据缺乏的问题。PS4框架采用代理监督联合训练策略，包含自动语音识别、说话人相似度、语音活动检测和感知音频质量四个目标，以微调基于BSRNN的模型。该方法在REAL-T挑战排行榜上获得第二名，在说话人相似度和时序方面表现强劲。