研究人员开发了Arti-JEPA,一种新的联合嵌入预测架构,旨在对声谱图的实时MRI数据进行建模,以进行语音分析。该模型在约62小时的无标签声谱图视频上进行了训练,并在包括音素预测、流畅与不流畅语音分类以及手术后语音变化特征描述等任务上进行了评估。研究结果表明,时间视频先验比逐帧编码器更有效,并且领域适应对于音素预测等某些任务至关重要,尽管它并未改善口吃分类。Arti-JEPA证明了从术后语音中解码音素信号的能力,表明其作为语音科学可重复使用的测量工具的潜力。 AI
影响 这项研究提供了一种使用MRI分析声谱图动力学的新方法,有望推动语音科学和临床应用。
排序理由 该集群包含一篇详细介绍新模型及其评估的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →