Python爬虫之BeautifulSoup模块

模块安装

pip3 install beautifulsoup4


模块导入
from bs4 import BeautifulSoup

示例html内容
获取html内容代码
import requests

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36 115Browser/9.0.0"
}
response = requests.get("https://www.xbiquge6.com/xbqgph.html",headers=headers)
response.encoding = "utf-8"
html = response.text
print(html)

获取的html内容





经典小说排行榜-新笔趣阁










	
	
		
			新笔趣阁
		
		
	
	
	
		
			首页
			永久书架
			玄幻奇幻
			武侠仙侠
			都市言情
			历史军事
			科幻灵异
			网游竞技
			女频频道
			完本小说
			排行榜单
			临时书架
		
	
	
		
		小说排行榜列表
		
			作品分类作品名称最新章节作者更新时间状态
			
			[都市言情]我本港岛电影人今天有更再来一盘菇凉2019-11-16连载中
			
			[玄幻奇幻]艾泽拉斯新秩序第一百三十六章 卡拉赞的收获想静静的顿河2019-11-16连载中
			
			[都市言情]超级狂婿第654章：他不够格我本幸运2019-11-16连载中
			
			[都市言情]我在都市修个仙完本感言一剑荡清风2019-11-16连载中
			
			[都市言情]都市超级医圣第2613章 战后处理断桥残雪2019-11-16连载中
			
			[都市言情]祖传土豪系统第二百零五章 我能试试吗第九倾城2019-11-16连载中
			
			[都市言情]都市红粉图鉴第1510章 我，才是坐馆龙头！秋江独钓2019-11-16连载中
			
			[武侠仙侠]胜天传奇第三百八十章 游历天宫骑牛者2019-11-16连载中
			
			[都市言情]总裁爸比从天降第1748章　奈何自己是婆婆一碟茴香豆2019-11-16连载中
			
			[玄幻奇幻]太古魔帝第一千三百二十四章 魂帝草根2019-11-16连载中
			
		
		
		
	


    




构建BeautifulSoup对象
常用四种解释器
解释器
标识
特点
Python标准库
html.parser
Python内置，执行速度中
lxml的HTML解释器
lxml
速度快
lxml的XML解释器
xml
唯一支持XML解析
html5lib
html5lib
容错性最好，以浏览器方式解析
soup = BeautifulSoup(html, 'html.parser')

还可以解析本地html文件
soup1 = BeautifulSoup(open('index.html'))

.prettify()格式化输出节点
略
通过 . 获取节点
title = soup.head.title
print(type(title))
print(title)

结果是

经典小说排行榜-新笔趣阁

对于名称唯一的节点，可以省略层级
title = soup.title
print(type(title))
print(title)

结果同样是

经典小说排行榜-新笔趣阁

名称不唯一的节点，直接获取只会获取第一个匹配的节点
li = soup.li
print(li)

结果是
首页

find_all根据条件获取节点
find_all( name , attrs , recursive , text , **kwargs )

name ：查找所有名字为 name 的tag,字符串对象会被自动忽略掉；
attrs：根据属性查询，使用字典类型；
text ：可以搜搜文档中的字符串内容.与 name 参数的可选值一样, text 参数接受 字符串 , 正则表达式 , 列表, True ；
recursive：调用tag的 find_all() 方法时,Beautiful Soup会检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点,可以使用参数 recursive=False ；
limit：find_all() 方法返回全部的搜索结构,如果文档树很大那么搜索会很慢.如果我们不需要全部结果,可以使用 limit 参数限制返回结果的数量.效果与SQL中的limit关键字类似,当搜索到的结果数量达到 limit 的限制时,就停止搜索返回结果；
class_ ：通过 class_ 参数搜索有指定CSS类名的tag，class_ 参数同样接受不同类型的 过滤器 ,字符串,正则表达式,方法或 True。

根据标签名字
lis = soup.find_all(name="li")
for item in lis:
    print(item)

结果是
首页
永久书架
玄幻奇幻
武侠仙侠
都市言情
历史军事
科幻灵异
网游竞技
女频频道
完本小说
排行榜单
临时书架
class="s1">作品分类class="s2">作品名称class="s3">最新章节class="s4">作者class="s5">更新时间class="s6">状态
class="s1">[都市言情]class="s2">我能举报万物class="s3">第九十六章 巡抚视察【第三更】class="s4">必火class="s5">2019-11-16class="s6">连载中
class="s1">[科幻灵异]class="s2">女战神的黑包群class="s3">第3046章 恶毒女配，在线提刀45class="s4">二谦class="s5">2019-11-16class="s6">连载中
class="s1">[玄幻奇幻]class="s2">花岗岩之怒class="s3">第一百五十二章 意外到来的断剑class="s4">咱的小刀class="s5">2019-11-16class="s6">连载中
class="s1">[网游竞技]class="s2">超神机械师class="s3">1090 韭菜的自觉class="s4">齐佩甲class="s5">2019-11-16class="s6">连载中
class="s1">[武侠仙侠]class="s2">无量真途class="s3">第六百三十二章 突然出现的神智class="s4">燕十千class="s5">2019-11-16class="s6">连载中
class="s1">[科幻灵异]class="s2">我的细胞监狱class="s3">第四百五十九章 白雾class="s4">穿黄衣的阿肥class="s5">2019-11-16class="s6">连载中
class="s1">[武侠仙侠]class="s2">前任无双class="s3">第三百章 事急速办class="s4">跃千愁class="s5">2019-11-16class="s6">连载中
class="s1">[武侠仙侠]class="s2">元阳道君class="s3">第四十章 洞开class="s4">剑扼虚空class="s5">2019-11-16class="s6">连载中
class="s1">[历史军事]class="s2">逆成长巨星class="s3">655：不是办法的办法class="s4">葛洛夫街兄弟class="s5">2019-11-16class="s6">连载中
class="s1">[历史军事]class="s2">承包大明class="s3">第一百九十三章 真会玩class="s4">南希北庆class="s5">2019-11-16class="s6">连载中

根据标签属性
属性和值以字典形式传入
lis = soup.find_all(attrs={"class":"s2"})
for item in lis:
    print(item)

结果是
class="s2">作品名称
class="s2">我能举报万物
class="s2">女战神的黑包群
class="s2">花岗岩之怒
class="s2">超神机械师
class="s2">无量真途
class="s2">我的细胞监狱
class="s2">前任无双
class="s2">元阳道君
class="s2">逆成长巨星
class="s2">承包大明

限制搜索范围
find_all 方法会搜索当前标签的所有子孙节点,如果只想搜索直接子节点,可以使用参数 recursive=False
遍历获取子节点
.contents获取所有子节点
以列表形式返回所有子节点，要注意，列表里面还会掺杂 ‘n’
ul = soup.ul
print(ul)
print(ul.contents)

结果是

首页
永久书架
玄幻奇幻
武侠仙侠
都市言情
历史军事
科幻灵异
网游竞技
女频频道
完本小说
排行榜单
临时书架

['n', 首页
, 'n', 永久书架
, 'n', 玄幻奇幻
, 'n', 武侠仙侠
, 'n', 都市言情
, 'n', 历史军事
, 'n', 科幻灵异
, 'n', 网游竞技
, 'n', 女频频道
, 'n', 完本小说
, 'n', 排行榜单
, 'n', 临时书架, 'n']

.children获取所有子节点
返回一个list生成器对象
ul = soup.ul
print(ul.children)
print(list(ul.children))

结果是
['n', 首页
, 'n', 永久书架
, 'n', 玄幻奇幻
, 'n', 武侠仙侠
, 'n', 都市言情
, 'n', 历史军事
, 'n', 科幻灵异
, 'n', 网游竞技
, 'n', 女频频道
, 'n', 完本小说
, 'n', 排行榜单
, 'n', 临时书架, 'n']

.descendants遍历所有子孙节点
ul = soup.ul
for item in ul.descendants:
	print(item)

结果是（中间很多'n'空行我删掉了）
首页
首页
首页
永久书架
永久书架
永久书架
玄幻奇幻
玄幻奇幻
玄幻奇幻
武侠仙侠
武侠仙侠
武侠仙侠
都市言情
都市言情
都市言情
历史军事
历史军事
历史军事
科幻灵异
科幻灵异
科幻灵异
网游竞技
网游竞技
网游竞技
女频频道
女频频道
女频频道
完本小说
完本小说
完本小说
排行榜单
排行榜单
排行榜单
临时书架
临时书架
临时书架

获取其父节点
a = soup.li.a
print(a)
p = a.parent
print(p)

结果是
首页
首页

提取节点信息
节点名称
感觉没什么用
title = soup.title
print(title.name)

结果是
title

节点属性
a = soup.li.a
print(a)
print(a.attrs)	# 获取所有属性，返回字典形式
print(a['href'])# 获取a节点的href属性值

结果是
首页
{'href': '/'}
/

节点文本
a = soup.li.a
print(type(a.string)) # 节点内文本的类型
print(a.string) # 获取节点内的文本内容
print(a.get_text())	# 也是获取节点内的文本内容
结果是

首页

注意！！！如果节点内文本是注释，则用string取出文本时会自动去除注释标记

注释的类型：，可以通过类型判断
遍历获取所有子孙节点中的文本
for string in soup.stripped_strings:  # 去除多余空白内容
    print(repr(string))

解释器	标识	特点
Python标准库	html.parser	Python内置，执行速度中
lxml的HTML解释器	lxml	速度快
lxml的XML解释器	xml	唯一支持XML解析
html5lib	html5lib	容错性最好，以浏览器方式解析

Python爬虫之BeautifulSoup模块

Python相关栏目本月热门文章