栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

爬虫-数据解析

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

爬虫-数据解析

聚焦爬虫:爬取页面中指定的内容

         -编码流程:

                   1.指定URL

                   2.发起请求

                   3.获取响应数据

                   4.数据解析

                   5.持久化存储

数据解析分类:

            -正则   学习链接    正则表达式 | 白月黑羽 (byhy.net)

            -bs4

            -xpath(重点)

原理概述:

            -解析的局部文本内容都会在标签之间或者标签对应的属性中进行存储

            -1.进行指定标签的定位

            -2.标签或者标签对应的属性中存储的数据进行提取(解析)

bs4数据解析原理:

             -1.实力化一个BS对象,并且将页面源码数据加载到对象中

             -2. 通过调用bs对象中相关的属性或者方法进行标签定位和数据提取

       环境安装:pip install bs4、lxml

如何实例化:from bs4 import BeautifulSoup

               -1.将本地的html文档中的数据加载到对象中

               -2.将互联网上获取的页面源码 加载到对象中

解析方法:

                  -1.对象名.tagName:返回的是html中第一次出现的标签

                        eg:soup.a(返回第一次出现的a标签)

                   -2.对象名.find(’tagName‘,标签属性):返回想要位置的标签

                        eg:soup.find(’div‘,class_=’song‘)

                   -3.对象名.find_all(’tagName‘):所有标签

                   -4.对象名.select(’选择器‘)      

                        eg:soup.select('.tang>ul>li>a')[0]      层级 

                             soup.select('.tang>ul a')[0]

获取标签之间的文本数据:

          -上述方法.text/string(获取直系内容)/get_text()                 

            eg:soup.a.text

获取标签中的属性值:

          -.上述方法['属性名‘]

             eg:soup.a['href']

爬取某网站小说

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/1022118.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号