栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

day22 bs4基本用法

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

day22 bs4基本用法

一、bs4基本用法 1.创建网页对应的 BeautifulSoup对象

BeautifulSoup9(网页数据,解析器名称)
网页数据 - 需要解析的网页代码
解析器名称 - lxml
html = open(‘data.html’,encoding=‘utf-8’).read()

创建对象

soup = BeautifulSoup(html,‘lxml’)

2.获取标签

soup对象.select(css选择器) - 在整个网页中,取css选择器选中的所有标签,返回值是列表,列表中的元素是标签
soup对象.selece_one(css选择器) - 在整个网页中,获取css选择器选中的标签的第一个标签,返回值是标签对象

标签对象.select(css选择器) - 在指定标签中,获取css选择器选中的所有标签,返回值是列表,列表中的元素是标签
标签对象.select_one(css选择器) - 在指定标签中,获取css选择器选中的标签的第一个标签,返回值是标签对象

reasult = soup.select('p')
print(reasult)
3.获取内容、获取标签属性

1)获取标签内容 - 标签对象.text

a = soup.select_one('div.c1>a')
print(a.text)

2)获取标签属性:标签对象.attrs[属性名]

print(a.attrs['href'])
二、设置浏览器信息

418现象:网页对应的服务器做了身份验证,必须浏览器才能返回数据,如果不是浏览器返回418

import requests
headers = {'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko)'}
response = requests.get('https://movie.douban.com/top250',headers = headers)
if response.status_code==200:
    print(response.text)
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/982915.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号