M2D2

新指标评估语言模型训练数据质量

研究人员开发了新的文本保真度-多样性指标（Fidelity-Diversity Metrics for Text），用于评估用于训练语言模型的文本数据质量。这些指标量化了候选文本与参考数据的相似程度（保真度）以及其对数据模式的覆盖程度（多样性）。在M2D2和合成GSM8K数据集上的实验表明，这些指标能够识别保真度和多样性不足之处，而这些不足与下游语言模型性能的下降相关。