SegCompass

SegCompass模型增强了LLM的视觉推理可解释性

研究人员推出SegCompass，这是一种新颖的端到端模型，旨在提高大型语言模型在视觉推理任务中的可解释性。通过采用稀疏自编码器（SAE），SegCompass在语言模型推理痕迹和视觉感知之间创建了显式且可微分的对齐路径。与现有的不透明方法相比，这种方法旨在提供更透明的“白盒”连接，实验表明其在多个基准测试中的表现与最先进水平相当或更优。