栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

Selenium:浏览器爬虫使用详解(一)

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Selenium:浏览器爬虫使用详解(一)

简介:

直接网上搜Selenium的就能知道了。简而言之Selenium通过模拟人对浏览器操作实现浏览器的自动操作。它与其他爬虫的不同点是,其他爬虫是模拟浏览器发出请求,而Selenium是模拟人对浏览器进行操作。

实现Selenium需要的东西 1、安装Selenium

直接使用pip命令安装,建议加上国内源快一些。

pip install selenium -i https://pypi.tuna.tsinghua.edu.cn/simple

安装的时候可能会遇到很多很操蛋的问题(到时候百度解决吧)

比如:

selenium 4.3.0 requires urllib3[secure,socks]~=1.26, but you have urllib3 1.24.3 which is incompatible

requests 2.21.0 requires urllib3<1.25,>=1.21.1, but you have urllib3 1.26.10 which is incompatible

然后我安装的版本

requests==2.28.1

urllib3==1.26.10

selenium==4.3.0

2、安装浏览器驱动

查看你的浏览器版本,在网上查找你浏览器版本的驱动然后下载。

以谷歌浏览器为例:

网上找到对应浏览器驱动的下载地址:

谷歌: http://chromedriver.storage.googleapis.com/index.html

注意:没有找到一模一样的可以选择接近的版本,没有64位的可以选择32位的,64位兼容32位。

 

将驱动解压到一个文件夹里,然后将存放路径添加到系统环境变量的Path变量中。

将谷歌浏览器的运行启动软件路径也添加到系统环境变量的Path变量中。

建议修改完环境变量后重启电脑,不然有可能设置了没生效。

 安装测试
from selenium import webdriver
import time

# 创建浏览器驱动对象,Chrome()代表是谷歌浏览器的驱动
driver = webdriver.Chrome()
# 访问网址
driver.get('https://blog.csdn.net/m0_72501048?type=blog')
#程序暂停10秒
time.sleep(10)
#输出页面title
print(driver.title)
# 关闭当前网页
driver.close()
# 关闭浏览器驱动对象
driver.quit()

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/1009510.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号