栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

【Python技能树共建】python selectolax 模块

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

【Python技能树共建】python selectolax 模块

Python selectolax 模块是什么

在 Python 爬虫中 selectolax 模块用于解析网页源码,而且效率非常快。

开源地址为:selectolax

模块安装使用下述命令

pip install selectolax
怎么用 上手案例
from selectolax.parser import HTMLParser

html = """

梦想橡皮擦 Lorem Ipsum is simply dummy text of the printing and typesetting industry. Lorem ipsum dolor sit amet, consectetur adipiscing elit. """ tree = HTMLParser(html) ret = tree.css_first('h1#title').text() print(ret)

导入模块 parser 中的 HTMLParser 类,就可以对网页源码进行格式化操作,然后执行 css_first() 方法,提取网页内容。
其语法格式类似于 cssselect 模块,即 CSS 选择器。

其中 .text() 方法为获取文本内容,.attributes 可以获取标签属性。

如果想要获取网页中多个元素,可以使用下述代码。

rets = [node.text() for node in tree.css('.post')]
print(rets)
更多的方法和属性

一些简单的属性如下所示。

from selectolax.parser import HTMLParser
import requests

html = requests.get('https://www.example.com/').text

parser = HTMLParser(html)

print(parser.head) # 头标签信息
print(parser.root) # 根标签信息

还可以移除指定标签,例如下述代码,用到的方法是 strip_tags()。

from selectolax.parser import HTMLParser
tree = HTMLParser('Hello world!')
tags = ['head', 'style', 'script', 'xmp', 'iframe', 'noembed', 'noframes']
tree.strip_tags(tags)
print(tree.html)
# 'Hello world!'
标签对象 Node

在上文中使用 css_first() 方法得到的是 Node 对象,其常用的属性有 attributes,获取标签属性,child 获取标签子节点。

css() 在当前标签继续查找,html 属性用于获取当前标签的 HTML 代码,其余内容,阅读文档即可理解,不在赘述。

扩展场景

Selectolax 支持两个解析引擎:Modern 和 Lexbor。
默认情况下使用 Modern,二者大多数功能相同,差异如下所示。

Lexbor 后端处于测试阶段,缺少一些功能。

from selectolax.lexbor import LexborHTMLParser

html = """
梦想橡皮擦
爬虫爱好者
"""

parser = LexborHTMLParser(html)
ret = parser.root.css_first("#updated").text()
print(ret)

参考资料:官方手册

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/870838.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号