Yexiao He

新框架允许冻结的 AI 模型从部署经验中学习

研究人员开发了一个新颖的框架，使冻结的大型语言和视觉语言模型能够在无需访问模型权重的情况下从部署经验中学习。这种模型无关的方法通过一个用于推理和工具使用的 Skill、一个用于存储可靠事实的 Knowledge Memory 以及一个用于视觉示例的 Multimodal Knowledge Base 来整合外部专业知识。该系统在各种基准和基础模型上，将医疗任务的性能提高了高达 34.2%，同时还能泛化到未见过的情况并迁移到其他模型。