目录

1 动态渲染

1.1 单击事件

1.2 异步加载数据

 2 Selenium爬取动态渲染页面

2.1 Selenium模块安装

2.2 Chrome浏览器驱动器下载

2.3 Chrome浏览器驱动器配置

3  Selenium小试牛刀

1 动态渲染

动态网页比静态网页更具交互性，能给用户提供更好的体验。动态渲染被广泛的应用在web网站中，大部分的网站都会以JS交互来提升用户体验。

1.1 单击事件

单击事件指的是用户在页面上单击某一个按钮或者页面元素的操作，这些按钮都会对应绑定一个JS方法，当我们在单击它们时，就会在我们无法感知的情况下去执行。

例如：

浏览器打开巨潮资讯的首页后，选择公告选项下的任意下拉框选项。

空白处右键选择“检查”或者按F12键，进入以下界面。

 

单击第2页后我们会发现，搜索框中的URL地址栏没有变化，但是网页内容发生了变化，而且“XHR” 条目中多了一条，如下图，说明单击时发送了一个新的请求。这说明它是一个动态页面。

1.2 异步加载数据

某些网站，当我们打开的时候，如果在浏览器上正常浏览，虽然看到了页面中显示某些内容或数据，但是通过右击查看网页源代码，却发现网页源码中并没有该数据。这其实也是一个通过JS异步请求，然后动态地将数据渲染在页面的案例。

例如：

我想要百度搜索成龙并通过XPath获取某张图片的下载地址（因为图片批量下载用XPath获取下载地址非常方便），通过复制粘贴技巧得到XPath，并对比源代码进行分析有没有错误，没有错误后开始获取图片。但是此时我们往往获取到的下载地址URL是一个空的列表[ ]，如果XPath的路径（相对路径——就是我们手写路径的和绝对路径——复制粘贴技巧得到XPath）没有任何错误，并且该路径没有注释掉，那应该就是动态页面的问题。

 下面我们看一面网页源代码会发现，源代码中没有我们想要的下载地址，但是网页内容中就有我们想要下载的图片，那么大概确定了该网页是动态的。

 2 Selenium爬取动态渲染页面

Selenium是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如单击、滑动下拉列表等动作，同时可以获取当前呈现的网页源代码，做到可见皆可爬。

2.1 Selenium模块安装

第一种方法，在PyCharm终端运行以下代码：

pip install selenium

第二种方法：

 PyCharm（2022.1.1版）

2.2 Chrome浏览器驱动器下载

首先查看Chrome浏览器版本：

chrome://version/

在地址栏运行以上网址，查看版本或者通过以下方式：

 

 版本 101.0.4951.41（正式版本） （64 位）

其次，进入以下连接找到符合之自己浏览器版本的驱动器。

https://chromedriver.chromium.org/downloads

然后点击下载（注意windows系统下载win32即可）

 

 

2.3 Chrome浏览器驱动器配置

打开下载好的文件并解压，之后复制并粘贴到PyCharm开发环境下的解释器所在的文件夹里。

解释器文件夹的获取：

随便运行一个程序获得以下路径：

 打开改路径将驱动器粘贴进该文件里：

 

3  Selenium小试牛刀

自动打开百度浏览器

代码如下：

from selenium.webdriver import Chrome
web = Chrome()
web.get("https://www.baidu.com/")

运行结果如下：