Brain2Semantics2Text

新的Brain2Semantics2Text方法通过语义嵌入解码语音

研究人员开发了一种名为Brain2Semantics2Text的新方法，以改进无创语音解码。该方法通过将大脑活动映射到一个中间语义嵌入空间，绕过了从嘈杂的神经记录中重建低级声学或词汇特征的困难。然后，模型将这些语义预测反转为自然语言，从而无需单词级对齐即可恢复高级含义。与以前的无创Brain2Text方法相比，这种语义瓶颈技术在句子级结果上有所提高。