Sampled-BPE

新方法审计中文网络语料库以检测大模型污染

研究人员开发了一种名为 Sampled-BPE 的新方法，用于高效审计大型中文网络语料库中的大模型污染。与完整扫描相比，该技术显著降低了运行时间和内存使用量，同时保持了对污染类别的准确估计。该流程应用于多个公开的中文语料库和 Common Crawl 快照，揭示了普遍存在且随时间变化的污染。此外，还发布了一个包含上下文和类别信息的中文网络标记的详细数据集，以协助进一步分析和追踪污染。