栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

pycharm爬虫bug

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

pycharm爬虫bug

项目背景
时间:2021年10月19日星期二
程序:pycharm2019.3.3
操作系统版本:windows10 家庭版
版本号:2004
Python版本:python3.8
目的:爬取华为应用市场内雪球更新详情
代码展示

app_id = 'C10102350' # 雪球app
url_domain = 'https://web-drcn.hispace.dbankcloud.cn'
url_path = f"/uowap/index?method=internal.getTabDetail&serviceType=20&reqPageNum=1&maxResults=25&uri=app|{app_id}"
url = url_domain + url_path

DEFAULT_HEADERS = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}

# 解析结果
def extract_data(url):
    res = requests.get(url, headers=DEFAULT_HEADERS)
    res = res.json()
    update_detail = res['layoutData'][6]['dataList'][0]['body']
    print('打印更新说明nn', update_detail)

extract_data(url)

预期结果(vscode上的输出结果)

打印更新说明

 【本次更新】

【重磅】
-私募基金签署及提单流程重构,页面更简洁,提示更丰富

【上次更新】

【重磅】
- 首页新增球友关注的热门模块和内容
- 首页新增视频专属页面,提供优质有深度的财经视频   


实际结果(pycharm上的输出结果)

[]

Process finished with exit code 0

原因分析
1.pycharm非正版
2.代码运行环境问题

题外话
各位csdn的大佬们,初来乍到文章水平可能略逊,但问题还是希望大家知道一下,知道啥原因大佬评论区留个言,好解小弟我的疑惑。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/339273.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号