栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

Python网络爬虫(二. 获取爬虫所需数据从而进行代码编写)

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Python网络爬虫(二. 获取爬虫所需数据从而进行代码编写)

在Python网络爬虫中,获取一定的网页数据是必要的

(如: url, headers 等)

因为Google Chrome (点击进入官方下载地址) 浏览器的兼容性更高,所以这里推荐使用该浏览器进行网页浏览

这里以 百度网页 为例:

1. 在浏览器上方地址框输入 www.baidu.com, 并进入该网页

2. 打开开发者页面

在页面空白处右键 选择 检查(Inspect) 或 键盘键入F12 , 打开开发者模式

3. 点击刷新网页,或在开发者模式键入 CTRL+R 通过浏览器获取响应

找到document类型文件,并单击

4.单击进入,可看到 Request URL,即为请求的网址

5. 向下滑动页面, 即可得到后续所需的User_Agent以及cookie等数据


获取以上数据即可编写一个简单的网络爬虫代码

import requests

url = 'https://www.baidu.com/'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36'
}

response = requests.get(url, headers = headers)

print(response.text)



# 另外  拓展一下,
# 运行结束后,在同一文件夹下会自动生成一个名为’1.txt‘的文件,并存入了源码数据
with open("1.txt", "wb")as f:
    f.write(response.content)

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/325991.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号