栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

爬虫新手的第一天

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

爬虫新手的第一天

1、下载相关第三方库

win+R -cmd-命令指示符-下载requests,urllib3,beautifulsoup,有相关牵连下载。

之后是否成功可以用pip list查询。

 

2、查询requests库提供的类,方法,属性

requests提供了http1.1中的八种协议中的六种,如下

 OPTIONS   返回服务器针对特定资源所支持的HTTP请求方法

HEAD 向服务器索要与GET请求相一致的响应,只不过响应body不会返回

GRT 向特定的资源发出请求

POST 向特定资源提交数据进行处理请求

PUT 向指定资源位置上传其最新内容

DELETE 请求服务器删除所表示的资源

3、对百度的一个爬取

这个是对百度网址的一个处理。这个可以从英语层面理解,打开这个“http://www.baidu.com”,从中得到响应,其中第四行和第五行是对该网页的源代码的阅读,上下的主要区别就是一个是文本文档,一个是二进制文档,接着进行了一个对该源代码的保存,然后可以从“baidu.html”中打开‘百度’

最后是一个判断是否结束的标志。

4、requests中get的介绍

使用:response=requests.get(" ")     #"  "中所写的是网址

requests的get方法有一个属性,params,(这块注意和后面的POST ,date区分)这个是字典格式,主要传递get请求的参数。对于网页链接较长的可以进行该处理。

根据网页的不同,有的网页可能设置反爬,需要加入headers={“  ”},进行一个伪装成浏览器的操作,下面我举一个例子。

 

 

 

这块还涉及一点页面元素的抓取,我了解的少,就浅浅的说一下

首先是右键或者按快捷键:F12,找出检查,然后进入下面页面,找到network,如果是空白页面,可以进行刷新。大多数网址是动态网页,所以一般选择XHR、fetch对信息进行抓取,主要是涉及其中的Request UR,user-agent。

关于网页源代码,对于其中信息的提取比较多,与正则相关的,提取网页关键信息,打印。

因为是初学者,可能存在一些错误,如果有什么问题请诸位大佬多多指点。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/958211.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号