一篇新的研究论文提出了一种方法来检测和分析大型语言模型（LLM）中的“被污染的中文”（PoC）Token。这些Token通常与色情或网络赌博相关，发现在许多LLM中普遍存在，其中GPT模型表现最差，显示超过40%的长中文Token属于这些类别。该研究在C4和Pile等数据集上验证了其推测方法，并估计与“波多野结衣”相关的内容可能占GPT-4o训练数据的约0.5%。 AI
影响 凸显了LLM训练数据中潜在的偏见和有害内容，需要改进数据策展和过滤。
排序理由 该集群包含一篇详细介绍LLM训练数据分析新方法的 ist 研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- C4 model
- generative pre-trained transformer
- GPT-4.1
- GPT 4.5
- GPT-4o
- GPT-4o mini
- GPT-o1
- GPT-o3
- GPT-o4-mini
- Pile
- Qingjie Zhang
- Yui Hatano
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
