Jingtong Dou

SuperAI框架跨异构基础模型融合能力

研究人员开发了SuperAI，一个旨在将不同基础模型的能力整合到单个宿主模型中的框架。这是通过将源模型中与任务相关信息的低维表示与宿主模型对齐来实现的。该方法使用主成分分析和正交普洛克鲁斯特映射来对齐坐标系，然后训练一个轻量级多层感知器来学习融合的残差增量。实验表明，SuperAI的性能优于其他跨架构融合方法，并且随着更多源模型的加入，其通用能力得以保持。