mitmproxy 是一款免费、开放的基于Python 开发的交互式HTTPS代理工具。也即可以用python对请求和响应进行修改操作。
1、如何安装？mitmproxy的安装方式有两种
- 通过pip安装，如下：
pip install mitmproxy
- 在官网下载安装包进行安装。
如何安装证书？有以下两种方式，直接安装或通过浏览器安装。
- 进入C:Users用户.mitmproxy目录，该目录下有一系列的证书。 windows安装mitmproxy-ca-cert.p12，手机安装mitmproxy-ca-cert.pem，手机安装完成后，添加信任。
- 手机正确设置代理后，在浏览器中输入mitm.it ，选择对应的证书安装。 （注意，配置代理时，mitmproxy默认的端口是8080）
2、如何启动？mitmproxy有三种启动方式或类型。在命令行输入如下命令：
- mitmproxy 启动后窗口如下
通过上下箭头选择对应的请求，然后enter可以进行详情页查看对应的请求和响应。 （也可直接用鼠标点击对应的请求进入详情页，在该界面的操作有点类似vim编辑器）
通过切换Request、Response、Detail三个tab查看具体的信息。
- mitmweb 提供一个web界面，有点类似charles了，如下：
- mitmdump 提供简略的终端输出，如下：
通过该命令-s选项，可以将请求和响应传递到python脚本，可以直接拿到请求或响应数据，从而执行一系列的脚本操作。
# 解析mitmproxy的网络请求
import json
import pprint
def request(flow):
"""
名称必须是 request，flow为 mitmproxy.http.HTTPFlow 类型。
"""
req = flow.request
if "xxx.xxx" in req.url:
# 过滤指定请求，将请求信息写入文本中。
with open("a.txt", "a+", encoding='utf-8') as fp:
fp.write(f"请求的url为 {req.url} n")
fp.write(f"method: {req.method} n")
fp.write(f"query: {req.query} n")
fp.write(f"headers: {req.headers} n")
fp.write(f"cookies: {req.cookies} n")
fp.write("n" * 3)
def response(flow):
"""
名称必须是 response，flow为 mitmproxy.http.HTTPFlow 类型。
"""
req = flow.request
if "xxx" in req.url:
# 过滤指定请求，将响应写入到文本中。
result = flow.response.text
if result:
with open("a.txt", "a+", encoding='utf-8') as fp:
fp.write(f"请求的url为 {req.url} n")
pprint.pprint(json.loads(result), stream=fp, width=100)
fp.write("n"*3)
假设该脚本名为 parse_req.py，则可以使用如下方式调用（注意python脚本的路径）。
mitmdump -s parse_req.py
flow对象的属性方法可以参考官方文档。
3、注意事项：
- 确认端口是否被占用。
- 在使用mitmproxy代理时需要打开系统代理选项，同时设置正确的地址和端口。 如下：
设置正确后，在浏览器中输入mitm.it时就会显示证书安装界面。
4、参考&感谢
https://www.jianshu.com/p/2e7efe2fa69e?ivk_sa=1024320u
5、其他
由于android 系统的限制，在抓取android应用的网络请求时必须在对应的应用代码中进行网络配置且必须是debug包，这样就无法抓取一些第三方应用的请求了。 后来在网上找到一篇博客，使用Virtaulxposed来避开这个限制。
安装了VirtaulXposed后，在VirtaulXposed中安装需要抓包的应用后（可能需要安装JustTrustMe来跳过ssl的校验，但是我在实践时发现不用安装，可能是VirtualXposed版本升级了吧），打开应用即可通过charles或者mitmproxy工具进行抓包了。
