Lebel

新型解码器可从fMRI大脑活动中重建语音

研究人员开发了一种名为NOEMA的新型时间卷积解码器，用于从功能性磁共振成像（fMRI）数据中重建感知到的语音。该解码器将fMRI测量窗口与多模态刺激嵌入对齐，这些嵌入结合了文本、音频和语音表示。在从大脑活动中检索正确语音片段方面，NOEMA比基线解码器有了显著改进，在两个自然语言语音数据集的42%以上的查询中，能在2000个候选片段中将正确片段排在前10位。