栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

python期末项目(部分爬虫)

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

python期末项目(部分爬虫)

一.爬取部分的代码:

1.首先模拟浏览器,通过查看Host,Upgrade-Insecure-Requests,User-Agent补充head部分,相当于我们进去这个网页的服务器本身,假装自己本身在爬取数据。

2.设置getfront,getInformation函数爬取网页源代码。page为页数,item为搜索时输入的字符串,通过urllib.parse.quote(item)将字符串转成十六进制编码,ur2为爬取网页信息的部分网址,ur1为网址中随页数与输入的字符串不同而产生变化的部分,res为拼接出的网址。读取源代码并解码,将源代码中的\,[,]全部替换为空。

3.通过正则表达式,从文本字符串中获取我们想要的特定部分("过滤"),findall 以列表形式返回全部能匹配的子串,如果没有匹配,则返回一个空列表。最终筛选出所需的数据。

4.建立Excel表格存储信息。调用函数爬取数据存储到创建的Excel表格中。 导入xlwt库,新建一个excel文件,创建一个新的表单,设置每一列参数。

5.利用一个双层循环,将爬取到的数据存入excel表中,设置爬取页数,第一层循环是遍历1到x(x为要爬取的最大页数),调用获取网页原码,把每一页遍历到的数据传入内层循环,利用双层循环来实现换页爬取与换行输出,最后设置一个休息间隔,避免爬取海量数据时被误判为攻击,IP遭到封禁。

二.代码实现:

1.爬取部分运行效果:

2.输入想要搜索的职业名称:

3.爬取到的信息存储在Excel表中:

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/674874.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号