研究人员开发了STARE(Scene Text-Aware multimodal Retrieval for Everyday objects),一个旨在帮助服务机器人理解并执行包含视觉特征和场景文本的自然语言指令的新系统。STARE利用跨语言视觉提示来解释嵌入式文本,并模拟指令实体与物体之间的关系。在两个新基准GoGetIt和TextCaps-test上进行评估,STARE在多模态检索方面表现优于现有方法,并在物理零样本迁移实验中取得了80%的成功率。 AI
影响 增强了机器人在理解复杂指令方面的能力,可能改善人机交互和任务自动化。
排序理由 该集群描述了一篇关于新颖多模态检索系统的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- GoGetIt
- Gotit.pub
- Hugging Face
- Influence Flower
- ScienceCast
- STARE
- TextCaps-test
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →