爬虫爬取豆瓣排行榜的电影

import requests
import json#json返回的是obj类型


if __name__ =='__main__':
    #指定url
    url='https://movie.douban.com/j/chart/top_list?'
    #UA伪装
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2486.0 Safari/537.36Edge/13.10586'
    }
    #发起请求
    param={
        'type': '13',
        'interval_id':'100:90',
        'action':'',
        'start':'1',#从库中的第几部电影去取
        'limit':'4',#取出结束时的电影部数
    }
    response=requests.get(url=url,params=param,headers=headers)#得到这个param代表的数据
    #获取数据
    douban=response.json()
    #持久化存储
    filename='./豆瓣.json'
    fp=open(filename,'w',encoding='utf-8')
    json.dump(douban,fp=fp,ensure_ascii=False)#ensure_ascii=False是为了不使用这种编码，因为我们要生成汉字

    print('豆瓣电影排行榜')