MindVoice

MindVoice 从神经信号重建可理解语音

研究人员开发了 MindVoice，一个从非侵入性神经信号重建可理解语音的新框架。该系统利用预训练模型克服了嘈杂和模糊的神经记录的限制，而这些限制以前导致了无法理解的语音合成。MindVoice 将重建过程分解为语义内容恢复和声学属性估计，然后将它们与先进的语音生成和语音克隆技术相结合。使用 EEG 和 MEG 数据进行的实验显示，与现有方法相比有了显著改进，为听觉神经科学和非侵入性脑机接口的进步铺平了道路。