Retrieval-Augmented Visual Prompting

新框架使用视觉记忆指导成像任务中的人工智能模型

研究人员推出了一种新颖的框架——检索增强视觉提示（RAVP），旨在指导基础模型完成双光子钙成像等专业任务。RAVP不调整模型权重，而是在推理时将外部视觉记忆直接注入模型的输入中。该方法使用检索到的带注释的示例作为概念提示，仅通过输入设计即可实现适应。在Allen Brain Observatory数据集上的实验表明，RAVP在零样本神经元检测和实例分割方面持续改进，单个精心选择的示例比多个检索到的示例更有效。