研究人员开发了一种名为 Sampled-BPE 的新方法，用于高效审计大型中文网络语料库中的大模型污染。与完整扫描相比，该技术显著降低了运行时间和内存使用量，同时保持了对污染类别的准确估计。该流程应用于多个公开的中文语料库和 Common Crawl 快照，揭示了普遍存在且随时间变化的污染。此外，还发布了一个包含上下文和类别信息的中文网络标记的详细数据集，以协助进一步分析和追踪污染。 AI
影响 为清理和验证用于训练大型语言模型的数据提供了一种更有效的方法。
排序理由 学术论文，详细介绍了一种新的语料库审计方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
