curl_cffi

通过模仿 Chrome 的 TLS 握手，网络爬虫成功率翻倍

通过将‘requests’库切换到‘curl_cffi’，一个网络爬虫的成功率得到了显著提高。这一改变使得爬虫能够更好地模仿 Chrome 的 TLS 握手，绕过那些通过 TLS 连接指纹而非仅仅 User-Agent 来识别的现代 Web 应用程序防火墙 (WAF)。该优化将爬虫的有效性提高了一倍，成功率从 37% 提高到 78%，另外通过删除不必要的头部覆盖还获得了 2% 的提升。