爬虫实践——selenium、bs4

• 一、浏览器的一般设置
• 二、打开网页并获取网页源码的方式
• • 1、基于requests库
  • 2、基于urlib库
  • 3、基于selenium
• 三、HTML解析
• • 1、BeautifulSoup
  • 2、Selenium动态渲染爬虫：模拟动态操作网页，加载JS(webdriver)
  • 3、scrapy框架
• 四、反爬虫操作
• 五、 一些常见的异常处理
• 六、网页post操作

from selenium import webdriver
from selenium.webdriver.common