栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

爬虫之lxml库

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

爬虫之lxml库

lxml库(我们将html页面获取后存放在content中,获取的内容仅仅是一个包含所有内容的html字符串,但是Xpath语法是无法直接作用于这样一个字符串进行数据提取的,因此我们用lxml库对所获取的html这样的字符串进行解析,将它还原为一个html页面。即:lxml库只做了一件事就是将html字符串进行解析,供Xpath语法进行数据提取)
1、【etree.HTML()】:lxml中用etree对html进行解析,利用etree.HTML将字符串解析为HTML文档
2、【etree.tostring()】:由于解析出来的文档是一个element类型的文档,无法直接打印,所以得用etree.tostring()对文档进行编码与解码,进而才可以输出它的内容(即:不能用print直接输出第一步解析的HTML文档)
例:

text=
"""
     ......
"""


from lxml import etree
html=etree.HTML(text)                    #解析网页
print(html)                              #无法得到我们的要的内容
result=etree.tostring(html,encoding='utf-8').decode('utf-8')                 #encoding='utf-8'表示对字符串进行编码,decode='utf-8'表示对字符串进行解码
print(result)

3、【etree.parse()】:(解析器)利用parse函数将html文件导入并解析(如下),但是在某一些情况下,直接使用parse解析会报错,会存在页面的标签缺失不够规整的情况,原因是我们默认使用的是xml解析器,当它计息html页面时,会造成一定错误(如下)

html=etree.parse(r"c://user/hongc/Desktop/baidu.html")
result=etree.tostring(html,encoding='utf8').decode('utf8')
print(result)
#出错

#此时就需要我们自定义一个解析器(如下)
parser=etree.HTMLParser(]encoding='utf8')
html=etree.parse(r'c://user/hongc/Desktop/baidu.html',parser=parser)                 #解析html
result=etree.tostring(html,encoding='utf8').decode('utf8')                                          #对html进行编码并打印(展示)
print(reselt)

4、两种解析html方式:
①发送请求------>html(字符串)------->利用etree解析html获得一个真正的html------>可以使用xpath了
②将网页另存下来------>利用parse进行解析----->得到真正的html----->可以使用xpath了

这只是在简单爬虫中运用到的最最基本的lxml相关知识哦

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/530259.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号