PromptNCE

大型语言模型使用新的PromptNCE方法估计互信息

研究人员开发了PromptNCE，一种新颖的方法，使大型语言模型能够在不需要单独的批评者模型的情况下估计逐点互信息（PMI）。该方法将条件概率估计构建为一项对比任务，并包含一个“OTHER”类别以提高准确性。PromptNCE在基准数据集上实现了强大的零样本性能，与人类得出的PMI的相关性（Spearman correlation）高达0.82。