Eleftherios Tsonis

新SCENT框架使用语言连接视觉和嗅觉

研究人员开发了一个新的多模态框架SCENT，它利用语言引导来弥合视觉和嗅觉信息之间的差距。该框架利用视觉语言模型（VLMs）生成场景描述符，捕捉物体、环境背景和可能的嗅觉线索，然后指导嗅觉表征的学习。在New York Smells数据集上的实验表明，SCENT显著提高了跨模态检索任务的性能，优于仅视觉基线，并在嗅觉到图像和嗅觉到文本检索方面取得了最先进的成果。