Qwen2-7B-Instruct

新的GRAM方法通过对兼容任务进行分组来合并AI模型

研究人员开发了GRAM，一种将多个微调AI模型合并成一个更强大模型的 novel 方法。GRAM 解决了“子空间干扰”问题，即合并在不同任务上训练的模型可能导致性能下降。通过在合并前对具有相似几何关系的任务进行分组，GRAM 显著减少了这种干扰，并在语言理解、视觉和医学指令调优任务上优于现有方法。该过程仅需要微调后的权重，使其适用于隐私敏感的应用。