系列文章目录
（一）组内分工情况
（二）任务一爬虫部分代码分析（上）
文章目录
系列文章目录
前言
一、程序结构
二、使用的python库
三、核心代码分析
未完待续……
前言
前言
任务一：数据集爬取与统计
- 从百度学术 - 保持学习的态度上爬取至少5000个中文论文摘要、标题和关键词，将爬取到的内容存放到execl表格中或数据库中。
- 需要统计Baiduxueshu数据集中文档的平均长度、文档中平均关键词的个数、关键词在文中存在比，并补充完整下面表格。
表1数据集描述表
| 数据集 | 文档总数 | 文档平均长度 | 文档平均关键字个数 | 关键词在文中存在比 |
| Baiduxueshu |
代码借鉴：
爬取百度学术文章及文本挖掘分析_星影L的博客-CSDN博客_爬取百度学术
参考文献：https://www.jianshu.com/p/1b63c5f3c98e 来源：简书
本文将对爬取数据集的核心代码进行分析
一、程序结构
二、使用的python库
from bs4 import BeautifulSoup
from selenium import webdriver
import time
import pandas as pd
import requests
from collections import defaultdict
（1）使用了bs4库中的BeautifulSoup：
Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库，简单来说，它能将HTML的标签文件解析成树形结构，然后方便地获取到指定标签的对应属性。
通过Beautiful Soup库，我们可以将指定的class或id值作为参数，来直接获取到对应标签的相关数据，这样的处理方式简洁明了。
（2）使用了selenium库中的webdriver：
WebDriver 以本地化方式驱动浏览器，就像用户在本地或使用 Selenium 服务器的远程机器上所做的那样，这标志着浏览器自动化的飞跃。
Selenium WebDriver 指的是语言绑定和各个浏览器控制代码的实现。 这通常被称为 WebDriver。
Selenium WebDriver 是 W3C 推荐标准
-
WebDriver 被设计成一个简单和简洁的编程接口。
-
WebDriver 是一个简洁的面向对象 API。
-
它能有效地驱动浏览器。
（3）使用了time库：
- time库是Python中处理时间的标准库
- 提供获取系统时间并格式化输出功能
- 提供系统级精确计时功能，用于程序性能分析
（4）使用了pandas库：
Pandas 是Python的核心数据分析支持库，提供了快速、灵活、明确的数据结构，旨在简单、直观地处理关系型、标记型数据。Pandas 的目标是成为 Python 数据分析实践与实战的必备高级工具，其长远目标是成为最强大、最灵活、可以支持任何语言的开源数据分析工具。经过多年不懈的努力，Pandas 离这个目标已经越来越近了。
Pandas 适用于处理以下类型的数据：
- 与 SQL 或 Excel 表类似的，含异构列的表格数据;
- 有序和无序（非固定频率）的时间序列数据;
- 带行列标签的矩阵数据，包括同构或异构型数据;
- 任意其它形式的观测、统计数据集, 数据转入 Pandas
（5）使用了requests库：
Requests 库是在 urllib 的基础上开发而来，它使用 Python 语言编写，并且采用了 Apache2 Licensed（一种开源协议）的 HTTP 库。与 urllib 相比，Requests 更加方便、快捷，因此在编写爬虫程序时 Requests 库使用较多。
（6）使用了collections库中的defaultdict：
Python中通过Key访问字典，当Key不存在时，会引发‘KeyError’异常。为了避免这种情况的发生，可以使用collections类中的defaultdict()方法来为字典提供默认值。
语法格式：
collections.defaultdict([default_factory[, …]])
该函数返回一个类似字典的对象。defaultdict是Python内建字典类（dict）的一个子类，它重写了方法_missing_(key)，增加了一个可写的实例变量default_factory,实例变量default_factory被missing()方法使用，如果该变量存在，则用以初始化构造器，如果没有，则为None。其它的功能和dict一样。
三、核心代码分析
下面按照函数分块进行核心代码分析
（一）def driver_open(key_word):
这个函数的主要作用是打开想要爬取的网页（使用selenium进行自动输入，并利用传入的key_word进行搜索），最后返回使用BeautifulSoup解析的结果-soup
此方法使用了使用了selenium库中的webdriver，这是Selenium里面最重要的东西。Selenium Webdriver（也就是Selenium2，Selenium3）和Selenium RC（Selenium 1）一样提供了web自动化的各种语言调用接口库。相比Selenium RC，Selenium WebDriver的编程接口更加直观易懂，也更加简练。但是和Selenium RC不同的是，Selenium Webdriver是通过各种浏览器的驱动（web driver）来驱动浏览器的，而不是通过注入Javascript的方式，下面是其原理的示意图：
指定驱动,执行到这里的时候Selenium会到指定的路径将chrome driver程序运行起来，chrome driver会将浏览器运行起来。成功后会返回一个WebDriver实例对象，通过它的方法，可以控制浏览器，我们可以把它想象成浏览器的遥控器一样。
driver=webdriver.Chrome("D:\ProgramData\Anaconda3\envs\py38\scripts\chromedriver.exe")
浏览器运行起来后，通常第一件事情就是打开网址了。一般我们通过控制对象的get方法来控制浏览器打开指定网址。
url = "http://xueshu.baidu.com/" driver.get(url)
选择网页元素
这样做的目的是为了使用selenium进行自动输入，并搜索。
这里使用了time，这里必须要等待时间，因为代码运行过快，代码运行完的时候页面还没加载出来就会找不到元素
driver.find_element_by_class_name('s_ipt').send_keys(key_word)
time.sleep(2)
driver.find_element_by_class_name('s_btn_wr').click()
time.sleep(2)
使用selenium 的 page_source方法获取到页面源码，同时关闭浏览器和驱动
content = driver.page_source.encode('utf-8')
driver.close()
最后，使用了bs4库中的BeautifulSoup：Selenium获取某些元素数据不太方便时，我们可以将BeautifulSoup和 Selenium两种技术融合使用达到我们的目的。
将网页源码构造成BeautifulSoup对象，方便操作
soup = BeautifulSoup(content, 'lxml') return soup
至此，第一个方法分析完毕
