需求背景:公司内网不能联网,同时开发工作需要各种python的模块,因此需要搭建一个pypi的本地镜像源。
参考网上的方法,总结了大致有下面几种方式搭建pypi本地源:
- devpi: 企业内网利用devpi搭建pypi私服 - 简书
- pip2pi: https://yangfannie.com/1439.html
- pypiserver: https://zhongneng.github.io/2019/02/16/creat-pip/
- bandersnatch: 基于bandersnatch搭建pip本地源_永不消逝的记忆-CSDN博客
最终选择了bandersnatch,主要理由是前面几种基本采用的是缓存机制,安装或者下载模块后缓存在本地,在没有网络的环境下一旦部署很容易出现需要的模块没有被缓存,重新添加比较麻烦,当然前面几种的好处就是比较节省硬盘空间。
准备工作
pypi 全部资源量非常巨大,截至目前已经达到9.4T(20211026),我准备了11T的硬盘空间,
查询所需要的空间: Statistics · PyPI
安装根据官方的文档:bandersnatch · PyPI
安装的方式有多种,我采用的是docker 的部署方式。
docker pull pypa/bandersnatch配置和部署:
- 启动docker 镜像
$ sudo docker run -it -v /srv/pypi:/srv/pypi pypa/bandersnatch:latest bash #我本地硬盘mount到了/srv/pypi
- 第一次执行bandersnatch mirror会生成/etc/bandersnatch.conf
root@97a753fce661:/bandersnatch# bandersnatch mirror 2021-10-26 13:12:53,502 WARNING: Config file '/etc/bandersnatch.conf' missing, creating default config. (main.py:200) 2021-10-26 13:12:53,502 WARNING: Please review the config file, then run 'bandersnatch' again. (main.py:201)
- 编辑 /etc/bandersnatch.conf文件,主要是修改一下存放文件的路径
directory = /srv/pypi
- 再次执行bandersnatch mirror,开始mirror。(国内从官网下载文件,速度较慢且不稳定,如果网速能接受等待全部下载完即可)
- 如果发现从官网下载速度或者稳定性欠佳,可修改成国内源下载文件。
首先还是需要执行bandersnatch mirror直到开始下载文件,此时会生成todo文件(必须需要有该文件),按ctrl+c取消mirror.
root@97a753fce661:/bandersnatch# ls -l /srv/pypi/ total 7220 -rw------- 1 root root 1 Oct 26 11:56 generation -rw------- 1 root root 7381714 Oct 26 12:16 todo drwxr-xr-x 5 root root 4096 Oct 26 11:56 web
修改/etc/bandersnatch.conf中的下面内容,为何不一开始就替换为国内源呢?是因为常用的国内源似乎暂不支持xmlrpc服务,导致无法获取到文件元数据信息,只好先从官网获取元数据信息,获取到以后再换成国内源进行下载。
download-mirror = https://pypi.doubanio.com/ download-mirror-no-fallback = False
- 修改完成后执行bandersnatch mirror,就会发现使用豆瓣源下载文件了,速度有了大幅提升。



