【Python爬虫】BeautifulSoup4 学习之路

目录

一、基本概述

二、下载与安装

三、使用方法

四、案例分析

五、完整代码

六、案例效果截图

一、基本概述

Beautiful Soup 简称 BS4（4表示版本号）是一个 Python 第三方库，它可以从 HTML 或 XML 文档中快速地提取指定的数据，它是数据解析的工具。

二、下载与安装

1.可以输入下面指令进行下载bs4        

pip install bs4

2.BS4 解析页面时需要依赖文档解析器，所以还需要安装 lxml 作为解析库。

pip install lxml

三、使用方法

1.初始化 bs 对象

soup = BeautifulSoup(fp,"lxml")

2通过 find/find_all 或其他方法检测信息

# find
print(soup.find('div', class_='adc'))
#find_all
print(soup.find_all('a'))

3.输出或保存

# 取属性值
print(soup.select(".adc > ul > li > a ")[0]['title'])
print(soup.select(".adc > ul > li > a ")[0]['href'])
print(soup.select(".adc > ul > li > a ")[0]['target'])

四、案例分析

bs4爬取lol.html，并输出相应标签内容。

五、完整代码

from bs4 import BeautifulSoup
if __name__ == '__main__':
    # ua 伪装 =》 模拟浏览器上网
    headers = {
        "User-Agent": 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36'
    }
    fp = open(".lol.html","r",encoding="utf-8")
    soup = BeautifulSoup(fp,"lxml")
    # find
    print(soup.find('div', class_='adc'))
    #find_all
    print(soup.find_all('a'))
    # 取属性值
    print(soup.select(".adc > ul > li > a ")[0]['title'])
    print(soup.select(".adc > ul > li > a ")[0]['href'])
    print(soup.select(".adc > ul > li > a ")[0]['target'])

六、案例效果截图