栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

Python爬虫(一)

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Python爬虫(一)

Python爬虫(一)

一、使用pip管理Python包
1.pip install 安装指定包
2.pip uninstall 卸载指定包
3.pip list 显示已经安装的包
4.pip freeze显示已经安装的包以及版本

[注]:修改pip下载源

  • 阿里云:https://mirrors.aliyun.com/pypi/simple/
  • 豆瓣:http://pypi.douban.com/simple/(推荐)
  • 清华大学:https://pypi.tuna.tsinghua.edu.cn/simple/
  • 中科大:https://pypi.mirrors.ustc.edu.cn/simple/

二、Python文件访问模式

三、文件序列化与反序列化
1.序列化
(1)dumps的使用

import json
fp = open('test.txt','w')
name_list = ['zs','ls']

#序列化
#1.json.dumps()将Python对象变成json的字符序列
names = json.dumps(name_list)
print(type(names))
fp.write(names)
fp.close()

(2)dump的使用
在将对象转换为字符串的同时,指定一个文件对象将转换后的字符串写入到文件中

import json
fp = open('test.txt','w')
name_list = ['zs','ls']
json.dump(name_list,fp)
fp.close()

2.反序列化
(1)loads的使用

## 反序列化
# 将json字符串变成一个Python对象
fp = open('test.txt','r')
content = fp.read()
# print(content)
import json
# 将json字符串变成python对象
resoult = json.loads(content)
print(resoult)
print(type(resoult))

(2)load的使用

fp = open('test.txt','r')
import json
resoult = json.load(fp)
print(resoult)
print(type(resoult))
fp.close()

四、互联网爬虫
啥是爬虫:1.通过一段程序,根据Url进行网页爬取,获取有用信息;2.使用程序模拟浏览器,去向服务器发送请求,获取响应信息。
五、urllib的基本使用
1.获取百度网页的全部源码

# 使用urllib获取百度首页的源码
import urllib.request
# 1.定义url
url = 'http://www.baidu.com'
# 2.模拟浏览器向服务器发送请求
response = urllib.request.urlopen(url)
# 3.获取响应中的页面源码
# read()方法 返回的是字节形式的二进制数
# 将二进制数转换为字符串
# 二进制 ——》字符串 解码 decode('编码的格式')
content = response.read().decode('utf-8')
# 4.打印内容
print(content)

2.一种类型和六种方法

import urllib.request
url = 'http://www.baidu.com'
# 模拟浏览器向服务器发送请求
response = urllib.request.urlopen(url)
# 一个类型和六个方法
# response是HTTPResponse类型
# print(type(response))

# 一、read()方法
# 1.按照一个字节为单位读取
content = response.read()
print(content)

# 2.只读X个字节 read(X)
content = response.read(5)
print(content)

# 二、readline()方法  读取一行
content = response.readline()
print(content)

# 三、readlines()方法 以行为单位读取,直至读完
content = response.readlines()
print(content)

# 四、getcode()方法
# 返回状态码,若是200则表示逻辑正确
print(response.getcode())

# 五、geturl()方法
# 返回url地址
print(response.geturl())

# 六、getheaders()方法
# 获取状态信息
print(response.getheaders())

3.urllib下载资源

import urllib.request
# 1.下载网页
url_page = 'http://www.baidu.com'
# url代表下载的路径 filename 代表文件的名字
# 在python中可以写变量的名字,也可以写值
urllib.request.urlretrieve(url_page,'baidu.html')
# 2.下载图片
url_img = 'https://tse1-mm.cn.bing.net/th/id/OIP-C.zgBWxADXwdw-seRK5cLy-wHaMR?w=194&h=321&c=7&r=0&o=5&dpr=1.5&pid=1.7' urllib.request.urlretrieve(url=url_img,filename='img.jpg')
# 3.下载视频
url_video = 'https://kn-cdn.codemao.cn/creation/lesson/4_kitten_public/lesson01.mp4'
urllib.request.urlretrieve(url_video,'video.mp4')
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/983887.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号