栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

python 采集斗图啦xpath

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

python 采集斗图啦xpath

import requests;
import re;
import os;
import parsel;

1.请求网页

header = {
“user-agent”:‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36’
}
response = requests.get(‘https://www.doutula.com/photo/list/’,headers=header)
html = response.text

2.解析网页

selector = parsel.Selector(html)

print(selector)

dir_name = 'doutu_list’
if not os.path.exists(dir_name):
os.mkdir(dir_name)

result_list = selector.xpath(’//a[@class=“col-xs-6 col-sm-3”]’)
for result in result_list:
title = result.xpath(’./img/@alt’).get()
img_url = result.xpath(’./img/@data-original’).get()
ext = img_url.split(’.’)[-1]
file_name = title+’.’+ext
print(title,img_url)
# 保存
response = requests.get(img_url,headers=header)
with open(dir_name+’/’+file_name,‘wb’) as f:
f.write(response.content)

高颜值后台管理系统免费使用 ### 子枫后台管理系统 ###,可在宝塔面板直接安装

如果您对我的其他专题内容感兴趣,直达我的个人博客:www.wangmingchang.com 。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/219644.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号