爬虫开发者发展路线和相关技术栈
- 小学生,爬虫入门。难度:*
requests、selenium、scrapy、app抓包⼯具等,⽤代码去模拟浏览器(UA、IP代理)
- 中学⽣,并发&JS逆向(javascript)。难度:***
并发解决⽅案、Chrome断点调试、JavaScript语法、前后端分离、Node.js编译、JSONP、AES、RSA、BASE64等加密。
- ⼤学⽣,APP逆向。难度:*****
2.各种工具 2.1抓包adb、模拟器、⽹络抓包、脱壳、反编译、smali、dex结构、C语⾔基础、Java语⾔基础、安卓开发、NDK开发、Frida、xposed、JNI静态分析和动态调试等。
需要通过抓包软件来抓取网络请求,并分析请求,最终通过代码模拟出请求。
- PC电脑:安装charles抓包工具(win/mac)
- 安卓手机:root、安装charles证书(https)、设置charles代理
模拟器可以,但是如果你以后要逆向so⽂件(C语⾔代码),模拟器不⾏的。⼀定要准备⼀台:已root的安卓⼿机(红⽶8A-300块钱)。



