python 爬虫 bs4解析示例

爬取的是某图片网站，这个网站的特点是图片地址就在网页源代码中，当前只是爬取第一页内容并下载。学习参考网址是https://www.tupianzj.com/bizhi/weimei/
随着时间的变化，可能这个网页的html代码也会改变，如果不能达到预期效果，根据html代码修改。

# coding=utf-8
# http://www.xinfadi.com.cn/priceDetail.html
# 1.拿到源代码
# 2.使用bs4进行解析，拿到数据
import requests
import time
from bs4 import BeautifulSoup

ul = "某网址"
resp = requests.get(ul)
resp.encoding = "gb2312"

# 解析数据，把数据交给BeautifulSoup处理，生成bs对象
# 指定解析数据为html方式
page = BeautifulSoup(resp.text, "html.parser")

# 2.从bs对象中查找数据
# find（标签，属性 = 值）
# find_all（标签，属性 = 值）
# class是python关键字
# page.find("table", class_='hq_table')
table = page.find("ul", attrs={"class": "list_con_box_ul"})
# 拿到所有数据行,从第一个开始切
trs = table.find_all("img")

for tr in trs:
    img_link = tr.get("src")
    img_name = img_link.split("/")[-1]
    img_data = requests.get(img_link)  # 下载图片
    with open("img/" + img_name, mode="wb") as f:
        f.write(img_data.content)   # 保存图片
    # print(tr.get("src"))
    time.sleep(1)
print("over!")

结果：