GeoStack

GeoStack 框架实现高效的 VLM 知识组合，防止灾难性遗忘。

研究人员开发了 GeoStack，一个旨在增强视觉语言模型 (VLM) 知识组合的新框架。该方法解决了灾难性遗忘问题，即模型在训练新任务或领域时会丢失先前获得的知识。GeoStack 利用几何和结构约束来集成独立训练的领域专家，而不会损害基础模型的 foundational 知识。一项关键创新是权重折叠属性，它能够实现恒定时间推理，无论添加了多少专家。