100天精通Python（爬虫篇）——第46天：爬虫解析器BeautifulSoup4

• 每篇前言
• 一、BeautifulSoup4库介绍
• • 1. 介绍
  • 2. 下载模块
  • 3. 解析库
• 二、上手操作
• • 1. 基础操作
  • 2. 对象种类
  • 3. 搜索文档树
  • 4. css选择器
• 三、书籍推荐

• 作者介绍：Python领域优质创作者、华为云享专家、阿里云专家博主、2021年CSDN博客新星Top6

• 本文已收录于Python全栈系列专栏：《100天精通Python从入门到就业》
• ​​此专栏文章是专门针对Python零基础小白所准备的一套完整教学，从0到100的不断进阶深入的学习，各知识点环环相扣
• 订阅专栏后续可以阅读Python从入门到就业100篇文章；还可私聊进两百人Python全栈交流群（手把手教学，问题解答）； 进群可领取80GPython全栈教程视频 + 300本计算机书籍：基础、Web、爬虫、数据分析、可视化、机器学习、深度学习、人工智能、算法、面试题等。
• 加入我一起学习进步，一个人可以走的很快，一群人才能走的更远！

---

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间。

BeautifulSoup4将网页转换为一颗DOM树：

1. window电脑点击win键+ R，输入：cmd

2. 安装beautifulsoup4，输入对应的pip命令：pip install beautifulsoup4 ，我已经安装过了出现版本就安装成功了

3. 导包

form bs4 import BeautifulSoup

BeautifulSoup在解析时实际上依赖解析器，它除了支持Python标准库中的HTML解析器外，还支持一 些第三方解析器(比如lxml)：

对于我们来说，我们最常使用的解析器是lxml HTML解析器，其次是html5lib.

1. 读取HTML字符串：

from bs4 import BeautifulSoup

html = '''

    
        Hello
    
    
        

            
Foo
            
Bar
            
Jay
        
        

            
Foo
                百度官网
            
Bar
        
    
 
'''
# 创建对象
soup = BeautifulSoup(html, 'lxml')

2. 读取HTML文件：

from bs4 import BeautifulSoup

soup = BeautifulSoup(open('index.html'),'lxml')

3. 基本方法

from bs4 import BeautifulSoup

html = '''

    
        Hello
    
    
        

            
Foo
            
Bar
            
Jay
        
        

            
Foo
                百度官网
            
Bar
        
    
 
'''
# 创建对象
soup = BeautifulSoup(html, 'lxml')

# 缩进格式
print(soup.prettify())

# 获取title标签的所有内容
print(soup.title)

# 获取title标签的名称
print(soup.title.name)

# 获取title标签的文本内容
print(soup.title.string)

# 获取head标签的所有内容
print(soup.head)

# 获取第一个div标签中的所有内容
print(soup.div)

# 获取第一个div标签的id的值
print(soup.div["id"])

# 获取第一个a标签中的所有内容
print(soup.a)

# 获取所有的a标签中的所有内容
print(soup.find_all("a"))

# 获取id="u1"
print(soup.find(id="u1"))

# 获取所有的a标签，并遍历打印a标签中的href的值
for item in soup.find_all("a"):
    print(item.get("href"))

# 获取所有的a标签，并遍历打印a标签的文本值
for item in soup.find_all("a"):
    print(item.get_text())

Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种: Tag , NavigableString , BeautifulSoup , Comment .

（1）Tag：Tag通俗点讲就是HTML中的一个个标签，例如：

soup = BeautifulSoup('Extremely bold','lxml')
tag = soup.b
print(tag)
print(type(tag))

Extremely bold

print(tag.name)
# 输出结果：b
# 如果改变了tag的name,那将影响所有通过当前Beautiful Soup对象生成的HTML文档:
tag.name = "b1"
print(tag)
# 输出结果：Extremely bold

# 取clas属性
print(tag['class'])

# 直接”点”取属性, 比如: .attrs :
print(tag.attrs)

# 添加 id 属性
tag['id'] = 1

# 修改 class 属性
tag['class'] = 'tl1'

# 删除 class 属性
del tag['class']

print(soup.b.string)

print(type(soup.b.string))

print(type(soup.name))
# 

print(soup.name)
# [document]

print(soup.attrs)
# 文档本身的属性为空

print(soup.b)

print(soup.b.string)

print(type(soup.b.string))

soup.find_all(id='link2')

# 匹配字符串
soup.find_all(text="a")

# 匹配正则
soup.find_all(text=re.compile("^b"))

# 匹配列表
soup.find_all(text=["p", "a"])

from bs4 import BeautifulSoup

html = '''

    
        Hello
    
    
        

            
Foo
            
Bar
            
Jay
        
        

            
Foo
                百度官网
            
Bar
        
    
 
'''
# 创建对象
soup = BeautifulSoup(html, 'lxml')

# 1. 根据标签名查找：查找li标签
print(soup.select("li"))

[
Foo
, 
Bar
, 
Jay
, 
Foo
, 
Bar
]

print(soup.select(".panel_body"))

Foo
Bar