研究人员开发了一个新的多模态框架SCENT，它利用语言引导来弥合视觉和嗅觉信息之间的差距。该框架利用视觉语言模型（VLMs）生成场景描述符，捕捉物体、环境背景和可能的嗅觉线索，然后指导嗅觉表征的学习。在New York Smells数据集上的实验表明，SCENT显著提高了跨模态检索任务的性能，优于仅视觉基线，并在嗅觉到图像和嗅觉到文本检索方面取得了最先进的成果。 AI
影响 这项研究可能导致更复杂的AI系统能够理解和解释视觉以外的感官数据，可能影响机器人和环境监测等领域。
排序理由 该集群包含一篇描述新多模态学习框架的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2607.06402v1 Announce Type: cross Abstract: Images tell us what a scene looks like, but rarely what it would feel like to be there. While recent datasets pair visual scenes with electronic-nose measurements, aligning smell signals with images remains challenging because man…
Images tell us what a scene looks like, but rarely what it would feel like to be there. While recent datasets pair visual scenes with electronic-nose measurements, aligning smell signals with images remains challenging because many olfactory cues arise from contextual environment…