MD-SigLIP

New MD-SigLIP framework enhances brain-language decoding accuracy

研究人员开发了一个名为MD-SigLIP的新框架，通过直接对齐神经和文本嵌入来改进脑语言解码。该方法旨在确保解码内容准确反映大脑活动，而不是仅仅由语言模型重建。MD-SigLIP采用了一种边距正则化的结构化语义对齐方法，结合了重复感知sigmoid对比学习和一个基于列表的边距正则化项来强制执行排序约束。该框架模拟了多正例语义结构和基于边距的排序，以捕捉语言嵌入在神经信号中的组织方式，实现了最先进的检索性能。