栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

学习笔记:python爬虫(第一次写笔记,多多包涵)

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

学习笔记:python爬虫(第一次写笔记,多多包涵)

        近来活得有点闲,就想给自己找点事做,也不知道怎么的就瞄上python了。

        因为是网上自学,所接触的知识点也是零零散散,看到什么就学什么,不成章法。而python里的知识又有如恒河沙数,数不胜数。在学了点python的基础之后就不知道该干什么了。一度迷茫啊!偶尔在牛客上刷个题,发现就两题不会(这题不会,那题也不会),总感觉自己每天都没有进步,难受!

        于是乎,我给自己找了个方向---->学爬虫。奔着吃牢饭的程度去。坚持写学习笔记(这里一个一个字都是我辛辛苦苦一个一个拼音拼出来的,好辛苦好慢啊,可能还有很多错别字),记录我自己的学习历程。

        今天搞个汽车之家的二手车数据抓取,废话少说,上代码:

'''
python 爬虫 汽车之家 二手车数据抓取
需要实现车辆图片、名称、里程、年份、售价等信息的数据抓取及本地保存
'''
import requests  # 模块导入
import re
import os

image = '二手车'
if not os.path.exists(image):
    os.mkdir(image) #创建文件夹
url = 'https://www.che168.com/guilin/a0_0msdgscncgpi1ltocsp{}exx0/?pvareaid=102179#currengpostion'
headers = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50'}
pattern = '(.*?)            

(.*?)

.*?(.*?)万.*?' a = 0 for i in range(1,4): # 总共有7页,我就搞3页试试手 response = requests.get(url.format(i)) response.encoding = 'gb2312' # 汽车之家网页源码charset=gb2312 result = re.findall(pattern,response.text) for j in result: img = requests.get('https://2sc2'+j[0],headers=headers) #写正则时之所以要截取到'//2sc2'这里,因为网页源码里搞了些鱼目混珠 # print(img.status_code) s = j[0].split('.')[-1] # 截取地址末尾得到图片格式,如’jpg‘ file = open(image+'/'+j[1]+'.'+s,mode='wb') file.write(img.content) # j[2:]后面那些东西不知道写哪里,怎么写? a += 1 print(a) # 记个数,刷个存在感

        别看现在这个代码从头到尾跑一遍没有啥问题,可是在写的时候报错报了十七零八会啊。目标大致实现了,就是后面那些里程,售价等不知道写哪里?怎么写?搞出来的东西长这个样子

这里写个句号。 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/977325.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号