1、下载相关第三方库
win+R -cmd-命令指示符-下载requests,urllib3,beautifulsoup,有相关牵连下载。
之后是否成功可以用pip list查询。
2、查询requests库提供的类,方法,属性
requests提供了http1.1中的八种协议中的六种,如下
OPTIONS 返回服务器针对特定资源所支持的HTTP请求方法
HEAD 向服务器索要与GET请求相一致的响应,只不过响应body不会返回
GRT 向特定的资源发出请求
POST 向特定资源提交数据进行处理请求
PUT 向指定资源位置上传其最新内容
DELETE 请求服务器删除所表示的资源
3、对百度的一个爬取
这个是对百度网址的一个处理。这个可以从英语层面理解,打开这个“http://www.baidu.com”,从中得到响应,其中第四行和第五行是对该网页的源代码的阅读,上下的主要区别就是一个是文本文档,一个是二进制文档,接着进行了一个对该源代码的保存,然后可以从“baidu.html”中打开‘百度’
最后是一个判断是否结束的标志。
4、requests中get的介绍
使用:response=requests.get(" ") #" "中所写的是网址
requests的get方法有一个属性,params,(这块注意和后面的POST ,date区分)这个是字典格式,主要传递get请求的参数。对于网页链接较长的可以进行该处理。
根据网页的不同,有的网页可能设置反爬,需要加入headers={“ ”},进行一个伪装成浏览器的操作,下面我举一个例子。
这块还涉及一点页面元素的抓取,我了解的少,就浅浅的说一下
首先是右键或者按快捷键:F12,找出检查,然后进入下面页面,找到network,如果是空白页面,可以进行刷新。大多数网址是动态网页,所以一般选择XHR、fetch对信息进行抓取,主要是涉及其中的Request UR,user-agent。
关于网页源代码,对于其中信息的提取比较多,与正则相关的,提取网页关键信息,打印。
因为是初学者,可能存在一些错误,如果有什么问题请诸位大佬多多指点。



