SigLIP2-Giant

多模态AI将动物识别准确率提升11%

研究人员开发了一个多模态框架，通过结合视觉数据和文本描述中的语义信息来改进动物识别。该方法在一个包含近70万只独特动物的大型数据集上进行了测试，使用了SigLIP2-Giant作为视觉编码器，E5-Small-v2作为文本编码器。研究发现，门控融合机制在整合这些模态方面最有效，与单一模态方法相比，准确率提高了11%，Top-1准确率达到84.28%。这项工作被CVPR 2026的FGVC13研讨会接收。