BrainFocus

脑电图信号引导视觉语言模型以实现高效的视觉问答

研究人员开发了BrainFocus，一个新颖的框架，它使用脑电图（EEG）信号来引导视觉语言模型（VLMs）以实现更高效的视觉问答（VQA）。该系统从EEG数据中预测目标类别，并使用YOLO检测器来定位感兴趣的区域（ROI）。如果置信度阈值得到满足，VLM将仅处理此裁剪的ROI，否则将默认处理整个图像。这种方法在Qwen3.5-VL模型的各种VQA准确性和计算成本降低方面显示出显著的改进，即使在EEG语义解码不完美的情况下也是如此。