Pangu Pro MoE

LLM 指纹识别方法揭示华为模型可能源自 Qwen-2.5

研究人员开发了一种新颖的方法，通过分析其注意力参数矩阵的标准差分布来识别大型语言模型（LLM）的指纹。该技术创建了一个独特的签名，即使在大量继续训练后也能保持稳定，从而能够可靠地识别模型的来源并检测版权侵权。研究发现的证据表明，华为的 Pangu Pro MoE 模型可能通过升级再造（upcycling）源自 Qwen-2.5 14B，这表明可能存在模型抄袭。