栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

pycharm中爬取网页使用decode无法更改编码格式的解决

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

pycharm中爬取网页使用decode无法更改编码格式的解决

问题描述

在使用爬虫爬取的中文网页在解码的时候出现中文乱码的情况代码如下:(爬取一个网页)

from urllib.request import urlopen
url = "http://www.baidu.com/"
resq = urlopen(url)
a=resq.read().decode("utf-8")
with open("baidu.html", mode ="w") as f:
    f.write(a)
    print("over!")

url=“”为爬取网页的路径

resq=urlopen(url)为访问url路径对应的网页

a=resq.read()为读取该打开的网页,后面接的decode(“utf-8”)为编码格式为utf-8

后面一段的意义为打开名为“baidu.html”文件(没有的话自动创建)访问方式为写,并且以f代为该文件并将a对应读取的网页写入到该文件中

显然我们打开的网页也设置了对应的编码格式,那应该可以出现正确的中文格式,个结果还是出现

了中文乱码的情况如下:

 可以在橘色圈中看到该网页支持utf-8的中文编码格式,我们使用的也是utf-8的编码格式,可还是出现了乱码

解决办法

在写入文件的时候,文件也会有自己的编码格式,所以在导入文件的过程中也需要定义文件的编码格式

from urllib.request import urlopen
url = "http://www.baidu.com/"
resq = urlopen(url)
a=resq.read().decode("utf-8")
with open("baidu.html", mode ="w",encoding="utf-8") as f:
    f.write(a)
    print("over!")

 在打开文件时定义文件的编码格式为utf-8

这时我们运行再打开其保存的文件(mode=“w”会覆盖之前的内容)

就出现了正确的中文字符。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/947963.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号