在经过过度清理和去标识化数据上训练大型语言模型，可能导致模型产生合成的或过度净化的答案。虽然隐私保护很重要，但过度清洗输入数据有移除反映真实世界语言和行为的上下文、变异和不完美之处的风险。这可能导致模型虽然连贯但与其应代表的现实脱节。 AI
影响 LLM训练数据过度净化可能导致模型缺乏现实世界背景，并产生不太有用的输出。
排序理由 该条目讨论了对LLM过度清理训练数据的潜在负面后果，并就数据净化实践提出了看法。
在 Mastodon — sigmoid.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
Training an LLM on a heavily cleaned, de-identified corpus can be like correcting every grammatical mistake in a large collection of texts: the result may look cleaner, but it can also lose the context, variation, and imperfections that reflect real-world language and behaviour. …