栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

Python爬虫下载外网图片

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Python爬虫下载外网图片

挂梯子后出现访问https报错信息报 hostname xxxx的错误,requests不到链接,解决方法

需求:读Excel中第一列作为文件夹名,第二列开始都是图片链接,图片链接可以有多条,每一行可以图片链接数不一,把每一行的图片下载到指定文件夹中。
test.xlsx例如:

import pandas as pd
import requests
import numpy as np
import re
import os
import time
# 读取Excel中Sheet1中的数据
data = pd.Dataframe(pd.read_excel('test.xlsx', 'Sheet1'))

# 查看读取数据内容
print(data)
print(data.values[0:, 0])#取第一列文件夹名

i=0
row =0
for dir_name in data.values[0:,0]:  #遍历每一行
    
    dir_name_real = re.sub(r'[/:*"<>|?n]*', '', str(dir_name))	#Re清洗一下,确保建立文件夹成功
    os.mkdir(dir_name_real)
    
    for column in range(1,data.shape[1]):	#从第二列开始遍历每一条图片链接
        if  pd.isna(data.iloc[row].iat[column])==False:		#判断当前遍历的excel格子是否空了
            website =data.iloc[row].iat[column]
            print(website)
            print("*"*50)
            #proxy = {"http":"127.0.0.1:7890"};
            headers = {
                'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36'
            }
            try:
                requests.packages.urllib3.disable_warnings()
                response = requests.get(website, headers=headers,verify = False,timeout=10)
                print(response.status_code)
                if response.status_code == 200:
                    response.encoding = response.apparent_encoding
                    patten = "https://.*/(.+).jpg|https://.*/(.+).png"                       #修改就是改这里
                    #
                    if website[-3:] == 'jpg':
                        with open("./" + dir_name_real + "/" + str(re.search(patten, website).group(1)) + ".jpg", "wb") as f:
                            print("正在保存第 %d 个网站的图片" % (i + 1))
                            f.write(response.content)
                            print("已保存第 %d 个网站的图片" % (i + 1))
                            i += 1
                    else:
                        with open("./" + dir_name_real + "/" + str(re.search(patten, website).group(2)) + ".jpeg", "wb") as f:
                            print("正在保存第 %d 个网站的图片" % (i + 1))
                            f.write(response.content)
                            print("已保存第 %d 个网站的图片" % (i + 1))
                            i += 1
            except:
                website = ""
                break;
        else:
            website = ""
            #row+=1
            break;
    row+=1

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/503585.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号