前言：
打铁还需自身硬
前置要求：掌握Python基础知识
-
知识点+案例 为驱动
-
第一阶段：爬虫核心
-
爬虫的前导知识
-
爬虫网络请求模块（uellib requests）
-
数据解析（正则 xpath bas4）
-
-
第二阶段：爬虫进阶
-
selenium(自动化的测试工具)
-
动态数据
-
多线程
-
增加爬取的效率
-
队列
-
-
第三阶段：Scrapy框架和分布式爬虫
- 如何使用Scrapy框架
- 分布式爬虫工作流程以及如何把一个普通的爬虫改写成分布式爬虫
-
第四阶段：数据存储
- CSV
- redis
- mongodb（重点）
-
第五阶段：移动开发
- 前导知识（Android）（mainactivity listview textview）
- fiddler抓包工具
- 爬取移动端数据
-
第六阶段：反爬策略
- 字体反爬
- 代理IP（免费代理IP 失效率低 响应慢）（购买IP）
- 复杂验证码（图片验证 tessertact 行为验证 打码平台）
- JS反爬（门槛相当高 起码掌握JS基础 分析维度比较高 案例 总结套路 常见算法了解）
PS：
懂了
不代表会了
学习方法：
百度 未知的 不明确的 找资料
- 准备报错集
- 解决方案文档
