一段可以自动化的从互联网上获取大量数据的程序。
原理请求与响应。
爬虫的分类- 通用网络爬虫（需要强大的设备支持）
对于硬件配置的要求比较高，爬行数量和范围较大，对所爬行页面的顺序并没有太高的要求，但是由于采用并行工作的方式，需要很长时间才可以刷新爬行页面。 - 聚焦网络爬虫（小而精）
指有针对性的爬取预先设定郝的主题相关页面的网络爬虫，和通用网络爬虫相比对硬件的要求有所降低，而且所抓取的数据垂直性更高，可以满足一些特定人群的需求。常用。 - 增量式网络爬虫
指只爬行发生变化页面或者是对已经下载的网页采取增量更行的爬虫，这种爬虫能够一定的保证爬虫页面的更新。 - 深层网络爬虫
深层页面当中存储的信息量非常之多，几乎是表层网页信息量的数百倍，而深度网络爬虫是专门针对深层网页所开发的爬虫程序。
