lol_html

基于Rust的Black Sparrow爬虫集成了AI代理进行本地SEO审计

一个名为Black Sparrow的开源、本地优先的网站爬虫已用Rust开发，以协助AI编码代理进行技术SEO审计。该工具允许AI代理发起爬取、监控进度、查询特定发现（如断开的规范标签或重定向链），并接收简洁的报告，从而为网站代码修复创建更紧密的反馈循环。与输出大量数据转储的传统SEO爬虫不同，Black Sparrow的Model Context Protocol服务器使代理能够请求目标信息，从而提高效率并将敏感的客户数据保留在本地。