Posted in未分类
写坏的 Disallow 规则只会安静失效。别等爬虫先替你发现。
robots.txt 是站点上唯一一份爬虫会读、会照办、却从不回话的配置。我反复撞见同一种坏法:第 2 行少一个冒号,你写下用来堵 /admin 的那条 Disallow 就无声消失了。没有错误页,没有日志行,只有 200 响应,还有一份任何人打开看都觉得没毛病的文件。问题就出在这份安静上,而它是可以测出来的。 写坏的 Disallow 只会安静失效 写成 Disallow…
Sharing my AI experiences