EarthVQA

新的HeatTok标记器提高了LLM对遥感图像的理解能力

研究人员推出了一种新颖的语义感知标记器HeatTok，旨在提高多模态大语言模型（MLLM）对遥感图像的理解能力。与分割对象的传统基于块的方法不同，HeatTok采用热扩散聚合方法创建语义独立、对象对齐的标记。为了更好地表示这些不规则形状，研究团队还开发了高斯多模态旋转位置嵌入（G-MRoPE）来编码空间分布和几何线索。在VRSBench和EarthVQA数据集上的评估表明，HeatTok增强了对象级别的语义完整性，并取得了最先进的结果。