k-NN overlap

新的COMPASS工具在训练前预测AI模型兼容性

研究人员开发了COMPASS，一种新的诊断工具，旨在预测AI模型对在进行对齐或合并过程之前的兼容性。该方法基于两个因素评估兼容性：模型局部邻域的重叠（k-NN重叠）以及其训练范式允许的最大重叠。COMPASS提供潜在模型对的排名，并根据分数提供如何进行的指导，无论是优先考虑、投入更多计算资源、切换范式还是不予优先考虑。该工具在广泛的跨模态对齐和模型合并实验中，已证明与下游成功率有很强的相关性。