python数据解析之BeautifulSoup

目录

数据解析

Beautiful Soup

Beautiful Soup用法

案例—爬取三国演义章节及对应的内容

数据解析

数据解析就是将爬取到的整个页面中的局部的内容进行提取。python中常用的数据解析方式有以下三种

bs4 python中独有的 xpath 推荐 通用型强 正则

数据解析原理概述

首先我们知道需要解析 提取 的内容都会在标签之间或者标签对应的属性中进行存储所以我们需进行指定标签的定位然后将标签或者标签对应的属性中存储的数据值进行提取 解析 Beautiful Soup

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。其只能运用在python语言中

bs4数据解析原理

实例化一个BeautifulSoup对象 并且将页面源码数据加载到该对象中。而将页面源码数据加载到该对象中有两种方式 一种是将本地得html文档加载 另一种是将互联网上获取的页面源码加载通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取

要使用bs4首先需要先下载对应的包

pip install bs4pip install -i https://mirrors.aliyun.com/pypi/simple/ lxml Beautiful Soup用法

提取整个标签数据

进行标签定位常用的几个方法如下

soup.标签名                     返回的是html中第一次出现的标签soup.find(标签名)            返回第一次出现的这个标签soup.find_all(标签名))    返回符合要求的所有标签soup.select(标签名)        返回符合要求的所有标签

from bs4 import BeautifulSoup #导包
html 
 html lang en 
 head 
 meta charset utf-8 
 meta name theme-color content #ffffff 
 base href ./ link rel stylesheet href styles.30d0912c1ece284d8d9a.css 
 /head 
 body 
 div 
 p 百里守约 /p 
 /div 
 div class song 
 p 前程似锦 /p 
 /div 
 div class song 
 p 前程似锦2 /p 
 /div 
 div class ming #后面改了名字
 p 以梦为马 /p 
 /div 
 div class tang 
 li a href http://123.com title qing 清明时节 /a /li 
 li a href http://ws.com title qing 秦时明月 /a /li 
 li a href http://xzc.com title qing 汉时关 /a /li 
 /ul 
 /div 
 flink-root /flink-root 
 script type text/javascript src runtime.0dcf16aad31edd73d8e8.js /script script type text/javascript src es2015-polyfills.923637a8e6d276e6f6df.js nomodule /script script type text/javascript src polyfills.bb2456cce5322b484b77.js /script script type text/javascript src main.8128365baee3dc30e607.js /script 
 /body 
 /html