Hoffman et al. (2022)

研究发现：AI生成的文本会损害语言模型的预训练

arXiv上的一篇新研究论文探讨了AI生成的文本对语言模型预训练的影响。研究发现，虽然为数据匮乏的模型添加AI生成的Token最初可以降低在人类文本上的损失，但随着更多AI文本的加入，这种好处会迅速转变为损害。对于在更大数据集上训练的模型，AI Token会立即增加损失。研究人员提出了一个新的缩放定律，该定律同时考虑了AI文本的益处和损害，并提出在目标是人类文本时过滤AI文本是有益的，同时建议为人类文本和AI生成的文本分别报告验证损失。