网络爬虫的定义是什么

提问：网络爬虫的定义是什么

网友回答：

网络爬虫是捜索引擎抓取系统的重要组成部分。爬虫的主要目的是将互联网上的网页下载到本地形成一个互联网内容的镜像备份。 网络爬虫的基本工作流程： 1.首先选取一部分精心挑选的种子URL； 2.将这些URL放入待抓取URL队列； 3.从待抓取URL队列中取出待抓取在URL，解析DNS，并且得到主机的ip，并将URL对应的网页下载下来，存储进已下载网页库中。此外，将这些URL放进已抓取URL队列。 4.分析已抓取URL队列中的URL，分析其中的其他URL，并且将URL放入待抓取URL队列，从而进入下一个循环。 5.在抓取过程中，大多会涉及到网站的访问限制或者反爬机制，这个时候需要通过更换ip的策略来进行绕过。国内ip资源量比较大的且支持S5、HTTP协议的也就那么几家：维品恩（ip多地区广，纯净高匿）、阿布云（隧道包月）、芝麻（老牌子）…… 二、从爬虫的角度对互联网进行划分 对应的，可以将互联网的所有页面分为五个部分：  1.已下载未过期网页 2.已下载已过期网页：抓取到的网页实际上是互联网内容的一个镜像与备份，互联网是动态变化的，一部分互联网上的内容已经发生了变化，这时，这部分抓取到的网页就已经过期了。 3.待下载网页：也就是待抓取URL队列中的那些页面 4.可知网页：还没有抓取下来，也没有在待抓取URL队列中，但是可以通过对已抓取页面或者待抓取URL对应页面进行分析获取到的URL，认为是可知网页。 5.还有一部分网页，爬虫是无法直接抓取下载的。称为不可知网页。