Yui Hatano

研究：LLM显示Token造成显著的中文数据污染

一篇新的研究论文提出了一种方法来检测和分析大型语言模型（LLM）中的“被污染的中文”（PoC）Token。这些Token通常与色情或网络赌博相关，发现在许多LLM中普遍存在，其中GPT模型表现最差，显示超过40%的长中文Token属于这些类别。该研究在C4和Pile等数据集上验证了其推测方法，并估计与“波多野结衣”相关的内容可能占GPT-4o训练数据的约0.5%。