Posted in未分类 Link 头解析得通,爬虫却停在第二页之前 Posted by By xiezixing 2026年11月15日四条链接关系,零条警告,抓到一页。在一个正确实现 RFC 8288 附录 B 的解析器眼里,GitHub 风格的分页头就是这个样子;可这同样是一个永远走不到第二页的爬虫的样子。Link 头不是供你阅读的字段,它是一条要你执行的指令,解析器又比爬虫宽容得多。 解析干净,不等于链是通的 我把一个 GitHub 风格的分页头粘进HTTP Link Header RFC…
Posted in未分类 Your Link Header Parses. Your Crawler Stops Before Page 2. Posted by By xiezixing 2026年11月14日Four link relations, zero warnings, one page fetched. That is what a GitHub-style pagination header…