栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

python系列34:用python爬取ajax请求

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

python系列34:用python爬取ajax请求

1. 查看ajax发送请求的真实地址

使用F12打开chrome的开发者界面,然后执行一遍页面,我们能看到:

点击执行时间最长的ajax请求,我们就能看到真实的请求(headers里)和参数(payload里)了:

2. 请求代码

url:Header中的request url
headers:Header中的request headers
params:Payload中的Query String Parameters
data:Payload中的From Data
对比上面的两张图,爬取页面信息的代码如下:

import requests
from tqdm import tqdm
headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.115 Safari/537.36',
        'Referer': 'https://www.jst-purple.com.cn/purple/index.php',
        'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
        'Cookie':'PHPSESSID=tr0n497tu1oslsnpgct8n03261'}

url = "https://www.jst-purple.com.cn/purple/ajax_show_search_product.php"
params = {'callback':'jQuery1111007706371456432315_1655294131309'}
# 这里一般用多线程去爬取网页
for i in tqdm(range(1,248)):
    rep=requests.post(url=url,params=params,data={"current_page":i},headers=headers)
    html = rep.text...
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/977208.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号