2.5.4　大站优先策略

关于大站优先策略，其思路很简单。被认定为“大站”的网站，一定有着稳定的服务器、良好的网站结构、优秀的用户体验、及时的资讯内容、权威的相关资料、丰富的内容类型和庞大的网页数量等特征，当然也会相应地拥有大量高质量的外链。对于待爬取URL队列中的网页，根据所属网站归类，如果哪个网站等待下载的页面最多，则优先下载这些链接。实验表明这个算法效果也要略优先于广度优先遍历策略。

大站优先抓取的解释1：比较贴合字面意思，爬虫会根据待抓取列表中的URL进行归类，然后判断域名对应的网站级别。例如，权重越高的网站，其所属域名越应该优先抓取。

大站优先抓取的解释2：爬虫将待抓取列表里的URL按照域名进行归类，然后计算数量。其所属域名在待抓取列表里数量最多的会优先抓取。