Pengzhan Sun

新数据集EgoIntention增强了AI助手的第一人称视觉对齐能力

研究人员推出了EgoIntention，一个旨在提高AI助手第一人称视觉意图对齐能力的新型数据集。该数据集挑战多模态大语言模型（LLMs）在从第一人称视角推理不常见的物体功能时，理解并忽略不相关的上下文物体。提出的Reason-to-Ground (RoG)指令调优方法通过结合显式物体对齐和隐式意图推理，提高了模型性能，优于标准的微调技术。