Cheerio

LLM 取代脆弱的 CSS 选择器，实现强大的网络抓取

大型语言模型 (LLM) 正被用于替换网络抓取中脆弱的 CSS 选择器，提供一种更强大的数据提取方法。这种零样本 JSON 提取方法允许 LLM 将非结构化网络内容语义映射到预定义的模式，从而使抓取管道能够抵御网站更改。通过在将 HTML 输入 LLM 之前进行清理并将其转换为 Markdown，该过程可以减少令牌消耗、延迟，并通过缓解“中间丢失”问题来提高准确性。