TokenPrint

新的 TokenPrint 方法可追溯语言模型来源和训练数据

研究人员开发了一种名为 TokenPrint 的新方法，用于识别语言模型的来源和训练数据。该技术使用基于后期隐藏状态的 top-k 词汇投影的指纹，并通过解码的 token 字符串上的 Jaccard 重叠进行比较。该方法展示了一个与模型相关性相关的“相似度阶梯”，在相同数据上独立训练的模型得分高于那些没有记录关系的。TokenPrint 还充当谱系检索工具，即使在元数据不足的情况下也能准确识别基础模型，并且在量化下保持稳定。