urllib库用来实现:向服务器发送请求,得到服务器响应,获取网页响应。
urllib包括以下内容:1、request模块;2、error模块;3、parse模块;4、robotparse模块。
1、request模块:HTTP请求模块,可以用来模拟发送请求,只需要传入URL 额外参数就可以模拟浏览器访问页面的过程。
2、error模块:异常处理模块,检测请求是否报错,捕捉异常错误,进行重试或者其他操作,保证程序不会终止。
3、parse模块:工具模块,提供许多URL 处理方法。如拆分、解析、合并等。
4、robotparser模块:识别网站的robots.txt文件。判断那些网站可以爬



