SatBird

新框架将多模态嵌入与领域语言对齐，以实现可解释的AI

研究人员开发了一个新框架，用于将多模态嵌入与领域特定语言对齐，从而提高需要模型决策可解释性的任务的可解释性。该方法将辅助数据转换为部分字幕，并使用软对比损失根据属性相似性对配对进行加权。将该框架应用于地球嵌入以进行物种分布建模，AlphaEarth嵌入在S2BMS和SatBird两个数据集上提高了性能，在多项指标上优于先前模型。该框架成功地对齐了领域特定概念，使得能够使用专家语言对抽象嵌入进行查询，并恢复了物种栖息地关联。