Link 头解析得通,爬虫却停在第二页之前

四条链接关系,零条警告,抓到一页。在一个正确实现 RFC 8288 附录 B 的解析器眼里,GitHub 风格的分页头就是这个样子;可这同样是一个永远走不到第二页的爬虫的样子。Link 头不是供你阅读的字段,它是一条要你执行的指令,解析器又比爬虫宽容得多。 解析干净,不等于链是通的 我把一个 GitHub 风格的分页头粘进HTTP Link Header RFC…