python爬取图片（正则、bs4、Xpath三种方法）

         本文给出爬取三个图片网站的案例，分别用到了正则表达式、bs4、Xpath三种解析方式。

目录：

案例一：正则表达式解析

案例二： bs4解析

案例三： Xpath解析

---

案例一：正则表达式解析

        需求：爬取挖好图网”唯美分类“中的图片

        详细代码如下：

# coding=gbk
import requests
import re
import os
#需求：爬取挖好图唯美图片
#网址：'https://www.wahaotu.com/weimei/list_1.html'
if __name__ == "__main__":
    #创建一个文件夹，保存所有的图片
    if not os.path.exists('./WeimeiPic'):
        os.mkdir('./WeimeiPic')

    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.40'
    }
    url = 'https://www.wahaotu.com/weimei/list_%d.html'

    for pageNum in range(1,3):
        #对应页码的url
        new_url = format(url%pageNum)
        #使用通用爬虫对url对应的一整张页面进行爬取
        page_text = requests.get(url=new_url,headers=headers).text
        #使用聚焦爬虫将页面所有的图片进行解析、提取
        obj = re.compile(r'.*?'
                         r'.*?)" alt=".*?" >',re.S)
        img_src_list = obj.finditer(page_text)
        #img_src_list1 = obj.findall(page_text)      #返回列表

        for it in img_src_list:
            url_pic = it.group('website')
            img_data = requests.get(url=url_pic,headers=headers).content  #返回二进制数据
            #生成图片名称,迭代器不知道可以成功，列表肯定可以
            img_name = url_pic.split('/')[-1]
            imgPath = './WeimeiPic/'+img_name
            with open(imgPath,'wb') as fp:
                fp.write(img_data)
            print(img_name,'下载成功！')

        运行结束后，图片保存到文件夹中：

---

案例二： bs4解析

        需求：爬取优美图库中分类为“可爱头像”中的图片

       主页面其实已经给出图片地址，没必要再进入到子页面。但当时没有注意，代码是按进入子页面抓取图片地址来写的。

        这里只爬取了主页面第一页的部分图片，可以参照案例三修改得到所有页码的图片。

# coding=utf-8
"""
1.拿到主页面的源代码，然后提取到子页面的链接地址，href
2.通过href拿到子页面的内容，从子页面中找到图片的下载地址
3，下载图片
"""
import requests
from bs4 import BeautifulSoup
import time
import os

if __name__ == "__main__":
    # 创建一个文件夹，保存所有的图片
    if not os.path.exists('./TouXiangPic'):
        os.mkdir('./TouXiangPic')

    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.40'
    }
    url = "https://www.umei.cc/touxiangtupian/keaitouxiang/"

    resp = requests.get(url = url,headers=headers)
    resp.encoding ='utf-8'     #处理乱码

    #把源代码交给BeautifulSoup
    main_page = BeautifulSoup(resp.text,"html.parser")
    alist = main_page.find("div",class_="TypeList").find_all('a')     #把范围第一次缩小

    #抓取列表第10到第15张图片
    for a in alist[9:15]:
        href = a['href']
        #href = a.get('href')     #通过get拿到属性的值
        #拿到主页面的源代码
        href_all = "https://www.umei.cc/"+ href
        detail_page_resp = requests.get(url=href_all,headers=headers)
        detail_page_resp.encoding = 'utf-8'
        detail_page_text = detail_page_resp.text
       
         #从子页面中拿到图片的下载途径
        detail_page = BeautifulSoup(detail_page_text,'html.parser')
        p = detail_page.find("p",align = "center")
        img = p.find('img')
        src = img['src']
        #下载图片
        img_resp = requests.get(url=src,headers=headers).content  #这里拿到的是字节
        
        img_name = src.split("/")[-1]
        #‘wb’：表示以二进制写方式打开，只能写文件，如果文件不存在，创建该文件；如果文件已存在，则覆盖写。
        imgPath = './TouXiangPic/' + img_name
        with open(imgPath,mode = "wb") as fp:
            fp.write(img_resp)      #图片内容写入到文件
        time.sleep(0.1)
    print("=====over!========")

        运行得到的图片保存到TouXiangPic文件夹中：

---

案例三： Xpath解析

        需求：爬取“我要个性网”中分类为“可爱头像”中的图片

        源代码如下：

# -*- coding: utf-8 -*-

import requests
from lxml import etree
import os

if __name__ == "__main__":
    #创建一个文件夹，保存所有的图片
    if not os.path.exists('./KeaiPic'):
        os.mkdir('./KeaiPic')

    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.40'
    }
    urlone = 'https://www.woyaogexing.com/tupian/keai/index.html'
    urlother = 'https://www.woyaogexing.com/tupian/keai/index_%d.html'

    pic_num = 0    #记录图片名称
    for pageNum in range(1,3):
        if pageNum == 1:
            new_url = urlone
        else:
            new_url = format(urlother%pageNum)
        #使用通用爬虫对url对应的一整张页面进行爬取
        page_text = requests.get(url=new_url,headers=headers).text

        #使用xpath将页面所有的图片进行解析、提取
        tree = etree.HTML(page_text)
        img_src_list = tree.xpath("//*[@id='main']/div[3]/div[1]/div[2]/div/a[1]/img/@src")

        for it in img_src_list:
            url_pic = "https:" + it
            img_data = requests.get(url=url_pic,headers=headers).content  #返回二进制数据
            #生成图片名称,迭代器不知道是否可以成功，列表肯定可以
            #img_name = url_pic.split('/')[-1]
            #自己定义文件名
            img_name = '图片{}{}'.format(str(pic_num),'.jpg')
            imgPath = './KeaiPic/'+img_name
            with open(imgPath,'wb') as fp:
                fp.write(img_data)
            pic_num = pic_num+1
            print(img_name,'下载成功！')

         运行后图片保存到文件夹中，并按照下载顺序命名：