python中xpath解析网页html文档

1、首先安装xpath解析工具第三方库
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple lxml

2、选取节点、选取未知节点、选取若干路径

举例说明：

谓语用来查找某个特定的节点或者包含某个指定的值的节点，被嵌在方括号中。在下面的表格中，我们列出了带有谓语的一些路径表达式，以及表达式的结果：

选取未知节点


选取若干路径

案例：

from lxml import etree

# 定义需要爬取的html网页内容
html = """


		

			
java
			
python
			
nodejs
		
		

			
样式1
			
样式2
			
样式3
		


"""
# 解析html
tree = etree.HTML(html)
# 查找指定路径所对应的属性
lis = tree.xpath("/html/body/ul/li/a/@href")
print(lis)

输出结果：

C:ProgramsPythonvisScriptspython.exe "D:/pythonTest/test01/pyhton 中xpath爬虫.py"
['a.html', 'b.html', 'c.html']