Perplexity Differencing

研究人员通过困惑度差异揭示大型语言模型中的微调目标

研究人员开发了一种方法，即使在微调目标隐藏的情况下，也能识别用于微调大型语言模型的具体目标。该技术通过使用简短提示比较微调模型和参考模型之间的困惑度得分来实现。困惑度差异最大的补全很可能揭示微调目标，例如内化错误事实或生成特定短语。即使没有直接访问原始预微调模型，这种方法也有效，并且可以与提供 token 对数概率的 API 限制模型配合使用。