Linear CKA

模型DNA方法使用公开的制品验证LLM来源 · 跟踪1个来源

一种名为模型DNA的新方法可以验证关于大型语言模型（LLM）是“从头开始”训练还是源自现有开源模型的主张。该技术分析了公开可用的制品，如配置文件、分词器数据和嵌入权重。通过检查三个关键信号——架构配置、分词器重叠以及使用线性CKA的嵌入相似性——研究人员可以确定模型的来源。虽然单一匹配信号不足以得出结论，但五个或更多信号的组合可以作为强有力的指纹，超越主观评估，实现可复现的程序。