The second day：练习爬取豆瓣电影中的详情数据及KFC的位置信息

• 动态加载数据的捕获
  • 什么叫做动态加载数据？
    • 我们通过requests模块进行数据爬取无法每次都实现数据可见即可得
    • 有些数据是通过非浏览器地址栏中的url请求到的数据，而是其他请求请求到的数据，那么这些通过其他请求请求到的数据就是动态加载的数据。
• 如何检测网页中是否存在动态加载数据？
  • 基于抓包工具进行局部搜索。
    • 在当前网页中打开抓包工具，捕获到地址栏的url对应的数据包，在该数据包的response选项卡搜索我们想要爬取的数据，如果搜索到了结果则表示数据不是动态加载的，否则表示数据为动态加载的。

如果数据为动态加载，那么我们如何捕获到动态加载的数据？

• 基于抓包工具进行全局搜索。

• 定位到动态加载数据对应的数据包，从该数据包中就可以提取出
  • 请求的url
  • 请求方式
  • 请求携带的参数
  • 看到响应数据

# -*- codeing = utf-8 -*-
# @Time : 2021-10-21 14:43
# @Author : 韩大本事丶
# @File : 豆瓣.py
# @Software: PyCharm
import requests
url = 'https://movie.douban.com/j/search_subjects?'
params = {
    'type': 'movie',
    'tag': '热门',
    'page_limit': '50',
    'page_start': '0',
}
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36',
}
response = requests.get(url=url,params=params,headers=headers)
#.json（）将获取的字符串形式的json数据序列化成字典或者列表对象
page_text = response.json()
#解析出电影的名称+评分
# page_text
for movie_value in  page_text.values():
    for movie in movie_value:
        name = movie['title']
        rate = movie['rate']
        print(name,rate)

• 分页数据爬取操作
  • 爬取肯德基餐厅位置数据
    • url：肯德基官方网站 - Welcome to KFC.com.cn
• 分析：
  • 1.在录入关键字的文本框中录入关键字按下搜索按钮，发起的是一个ajax请求
    • 当前页面刷新出来的位置信息一定是通过ajax请求到的数据
  • 2.基于抓包工具定位到该ajax请求的数据包，从该数据中捕获到：
    • 请求的url
    • 请求方式
    • 请求携带的参数
    • 看到响应数据

# -*- codeing = utf-8 -*-
# @Time : 2021-10-21 14:50
# @Author : 韩大本事丶
# @File : KFC门店位置信息.py
# @Software: PyCharm
import requests
#爬取多页
url = 'https://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
for page in range(1,9):      #这里只爬取了前8页的信息
    data = {
        'cname': '',
        'pid':'',
        'keyword': '北京',
        'pageIndex': str(page),
        'pageSize': '10',
    }
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36',
    }
    #data参数是post方法中处理参数动态化的参数，类似get方法中params
    response = requests.post(url=url,headers=headers,data=data)
    page_text = response.json()
    for value in page_text['Table1']:
            name = value['storeName']
            addr = value['addressDetail']
            print(name,addr)