栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

爬虫问题总结1

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

爬虫问题总结1

1、乱码问题(解码):

使用open函数将爬虫爬取的html时,在控制台下是乱码(要把字节转换成字符串)。

 

解码方式具体看控制台下面(utf 或gbk)。

 

 输出的时候加上decode("utf-8")即可便正常。

 

2、HTML文件空白问题:

使用open函数将爬虫爬取的html时,如果前面写上:print(resp.read().decode("utf-8")),那么后面生成的html文件里面将是空白的。把它注释掉即可。及写入的时候直接写入即可,不要在前面进行其他操作。

 去掉之后:

 html文件里就有东西了;

3、使用open函数将爬虫爬取的html写入文件,有时候在控制台不会乱码,但是写入文件的html中的中文是乱码的,如上图。

把代码改成如下即可,即再打开文件的时候就解码:

with open("mybaidu.html","w",encoding = "utf-8")as f:

 

 完整代码如下:

from urllib.request import urlopen

url = "http://www.baidu.com"
resp = urlopen(url)

#print(resp.read())#不加上解密方式会生成乱码

#print(resp.read().decode("utf-8"))#加上之后后面的html文件里面将会是空白的
with open(mybaidu.html,"w",encoding="utf-8")as f:#如果不加上:encoding="utf-8",生成的文件是乱码
    f.write(resp.read().decode("utf-8"))
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/1026169.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号