Jose Miguel Madueño Ortega

Fusion Check 预测 LLM 合并兼容性无需数据

Jose Miguel Madueño Ortega 开发了 Fusion Check，这是一个开源工具，无需任何数据或计算资源即可预测微调大语言模型（LLM）的合并兼容性。该工具利用基于任务核的数学定律来确定融合是否会保留或稀释模型的行为，提供 MERGE 或 NO_MERGE 等决策，并计算最佳混合系数。Fusion Check 已通过解析推导、Z3 的形式验证和经验测试得到验证，证明了其在提高模型性能和防止稀释方面的有效性。