Assistive AI

新研究评估多模态大语言模型在辅助AI任务中的表现

一篇新论文探讨了多模态大语言模型（MLLMs）在辅助AI应用中的能力。研究人员开发了一个名为NetraLink的系统，使用GoPro相机捕捉以自我为中心的（egocentric）数据，并创建了一个基准来评估MLLMs在现实世界任务中的表现。这些任务包括识别日常物品、回答基于场景文本的问题以及阅读多语言内容，旨在了解当前MLLMs在支持辅助技术方面的优势和局限性。