№3爬虫学习——实现网络采集器，以百度翻译破解为例

需求：实现网络采集器

UA检测（UA伪装）（反反爬策略）

需求：实现百度翻译的破解

import reqests
import json

if _name_=="_main_":
   
    #1、指定url
    post_url = 'https://fanyi.baidu.com/sug'
    
    #2、进行UA伪装
    headers={'User-Agent':.....省略}
    
    #3、post请求参数处理（同get请求一致）
    word = input('enter a word:')
    data = {
        'kw':word
    }
     
    #4、请求发送   
    response = requests.post(url=post_url,data=data,headers=headers)

    #5、获取响应数据：json（）方法返回的是obj（如果确认响应数据是json类型的，才可以使用json()）
    dic_obj = response.json()

    #持久化存储
    fileName = word+'.json'
    fp = open(fileName,'w',encoding='utf-8')
    json.dump(dic_obj,fp=fp,ensure_ascii=False)

    print('over!!!')

如何判断是否是json类型

如下图，看content-Type