EEGAlign

新型EEGAlign框架可从脑电波解码中文语音

研究人员开发了EEGAlign，一个新颖的框架，旨在直接从脑电图（EEG）信号中解码中文语音并生成文本。该方法解决了中文语言从非侵入式EEG解码中固有的高维输出空间和受试间变异性等挑战。EEGAlign利用对比学习，联合对齐来自BGE M3的文本嵌入和来自wav2vec 2.0的音频特征的EEG数据，然后进行CTC解码。该框架在中国EEG-2数据集上取得了最先进的性能，证明了其双重对齐轴对于语音产生和感知任务的互补优势。