Generative Visual Grounding (GVG)

新的 GVG 框架使用人工智能从 EEG 数据生成图像

研究人员开发了一个名为生成式视觉基础 (GVG) 的新框架，以利用多模态大语言模型 (MLLMs) 改进对脑电图 (EEG) 数据的理解。GVG 通过从非视觉 EEG 信号生成代理图像来解决视觉诱发 EEG 数据集稀缺的问题。这些生成的图像提供了视觉背景，使 MLLMs 能够利用其视觉先验知识来更有效地解释临床状态。实验表明，即使使用轻量级模型，这种方法也能达到或超过大型文本对齐模型的性能。