2.5　爬虫抓取策略

在爬虫系统中，待抓取URL队列是很重要的一部分。待抓取URL队列中的URL以什么样的顺序排列也是一个很重要的问题，因为这涉及先抓取哪个页面，后抓取哪个页面。而决定这些URL排列顺序的方法，叫作抓取策略。下面重点介绍几种常见的抓取策略。