栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

爬虫学习日志10--获取疫情首页数据并保存完整代码

爬虫学习日志10--获取疫情首页数据并保存完整代码

前言

这篇文章主要讲述如何获取疫情首页数据并且保存。

一、代码
import requests
from bs4 import BeautifulSoup
import re
import json
#1.发送请求,获取疫情首页
response = requests.get('https://ncov.dxy.cn/ncovh5/view/pneumonia')
home_page=response.content.decode()
#2.从疫情首页,提取最近一日各国疫情数据
soup = BeautifulSoup(home_page,'lxml')
script=soup.find(id='getListByCountryTypeService2true')
text=script.text
print(text)
#3.从疫情数据中,获取json格式的字符串
json_str=re.findall(r'[.+]',text)[0]
print(json_str)
#4.把json格式的字符串转换为python类型
last_day_corona_virus=json.loads(json_str)
#print(last_day_corona_virus)
#5.以json格式保存最近一日各国疫情数据
with open('venv/last_day_corona_virus.json','w',encoding='utf-8') as fp:
      json.dump(last_day_corona_virus,fp,ensure_ascii=False)
#获取数据-解析数据-保存数据
总结

代码运行成功,疫情首页的数据就获取并且保存了。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/728265.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号