VSR^2

新的基准和框架增强了多模态大语言模型（MLLMs）对高光谱图像的理解能力

研究人员推出了HM-Bench，这是一个旨在评估多模态大语言模型（MLLMs）理解高光谱图像能力的新基准。该基准包含超过19,000个跨不同任务的问答对。为了使当前的多模态大语言模型（MLLMs）能够处理这些数据，开发了一个名为VSR^2的无训练框架，该框架使用RGB图像、基于PCA的光谱变异图像和结构化报告来表示高光谱样本。实验表明，引入高光谱信息提高了多模态大语言模型（MLLMs）的准确性，但鲁棒的高光谱推理仍然是一个挑战。