一位 Mastodon 用户对 DuckDuckGo 搜索引擎的爬虫表示不满,称如果其一天内收到多个错误代码(403、50、100、200x),就应该停止爬取。用户强调,反复尝试不会改变结果,只会污染他们的日志。 AI
排序理由 用户对搜索引擎爬虫的投诉,并非重要的行业事件。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
一位 Mastodon 用户对 DuckDuckGo 搜索引擎的爬虫表示不满,称如果其一天内收到多个错误代码(403、50、100、200x),就应该停止爬取。用户强调,反复尝试不会改变结果,只会污染他们的日志。 AI
排序理由 用户对搜索引擎爬虫的投诉,并非重要的行业事件。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
Dear DuckDuckGo; If your crawler gets served a 403, 50, 100, or even 200x in a day. LEAVE. How fucking more do you have to be told "NO!". Sincerely, ramping up your hits each day does not mean the door may eventually open, or that it opens more. It means, succinctly, 'GO FUCK YOU…