web-scraped data

使用网络数据微调AI模型面临样板内容和多语言去重挑战

一位用户在使用自行收集的网络抓取数据微调模型时遇到了严重问题。问题包括样板内容污染，即网站元素如导航菜单和页脚被纳入训练示例，导致输出结构混乱。通过使用更精确的DOM定位和采用轮换住宅代理来确保更干净的HTML解决了这个问题。去重的顺序也至关重要，影响了模型重复短语的倾向。多语言近重复检测仍然是一个持续的挑战，目前MinHash等方法在不同语言之间效果不佳。