第五周——爬虫入门 Day2 7.26

学习时间：9:00——11:00         16:00——18:00

验证码识别

反爬机制：验证码。

有一些网站在使用前需要登陆，登陆就离不开账号密码和验证码，此时的验证码就是一种门户网站的反爬机制。登陆操作我们可以使用requests模块进行模拟，但验证码需要我们取识别这个图片，用于模拟登陆操作。

识别验证码的操作

• 人工肉眼识别（不推荐）
• 第三方自动识别（推荐）
• 云打码
• 超级鹰
• ......

网上找了半天云打码网站结果已经找不到了，于是使用超级鹰

封装超级鹰

import requests
from hashlib import md5

class Chaojiying_Client(object):

    def __init__(self, username, password, soft_id):
        self.username = username
        password =  password.encode('utf8')
        self.password = md5(password).hexdigest()
        self.soft_id = soft_id
        self.base_params = {
            'user': self.username,
            'pass2': self.password,
            'softid': self.soft_id,
        }
        self.headers = {
            'Connection': 'Keep-Alive',
            'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)',
        }

    def PostPic(self, im, codetype):
        """
        im: 图片字节
        codetype: 题目类型 参考 http://www.chaojiying.com/price.html
        """
        params = {
            'codetype': codetype,
        }
        params.update(self.base_params)
        files = {'userfile': ('ccc.jpg', im)}
        r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, files=files, headers=self.headers)
        return r.json()

    def PostPic_base64(self, base64_str, codetype):
        """
        im: 图片字节
        codetype: 题目类型 参考 http://www.chaojiying.com/price.html
        """
        params = {
            'codetype': codetype,
            'file_base64':base64_str
        }
        params.update(self.base_params)
        r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, headers=self.headers)
        return r.json()

    def ReportError(self, im_id):
        """
        im_id:报错题目的图片ID
        """
        params = {
            'id': im_id,
        }
        params.update(self.base_params)
        r = requests.post('http://upload.chaojiying.net/Upload/ReportError.php', data=params, headers=self.headers)
        return r.json()


def get_code(code_path,code_type):
    chaojiying = Chaojiying_Client('用户账号', '用户密码', '软件ID')	#用户中心>>软件ID 生成一个替换
    im = open(code_path, 'rb').read()													#本地图片文件路径 来替换 a.jpg 有时WIN系统须要//
    return chaojiying.PostPic(im, code_type)['pic_str']												

首先登录超级鹰官方平台：超级鹰验证码识别-专业的验证码云端识别服务,让验证码识别更快速、更准确、更强大 (chaojiying.com)

登陆之后进行注册，在开发文档中找到Python语言Demo下载，下载完成后将超级鹰原文档导入项目根目录中，之后进行封装，我是将其封装成一个函数，需要时直接调用文档中的函数get_code，参数的话是需要打的验证码路径（这里需要自己爬取）和验证码的类型（不同的类型代码不同，自行到超级鹰价格体系中找），返回时返回json对象中的pic_str就是我们需要的验证码