栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

使用bandersnatch搭建pypi 本地镜像源(20211026)

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

使用bandersnatch搭建pypi 本地镜像源(20211026)

需求背景:公司内网不能联网,同时开发工作需要各种python的模块,因此需要搭建一个pypi的本地镜像源。

参考网上的方法,总结了大致有下面几种方式搭建pypi本地源:

  • devpi: 企业内网利用devpi搭建pypi私服 - 简书
  • pip2pi: https://yangfannie.com/1439.html
  • pypiserver: https://zhongneng.github.io/2019/02/16/creat-pip/
  • bandersnatch: 基于bandersnatch搭建pip本地源_永不消逝的记忆-CSDN博客

最终选择了bandersnatch,主要理由是前面几种基本采用的是缓存机制,安装或者下载模块后缓存在本地,在没有网络的环境下一旦部署很容易出现需要的模块没有被缓存,重新添加比较麻烦,当然前面几种的好处就是比较节省硬盘空间。


准备工作

pypi 全部资源量非常巨大,截至目前已经达到9.4T(20211026),我准备了11T的硬盘空间,

查询所需要的空间: Statistics · PyPI

安装

根据官方的文档:bandersnatch · PyPI

安装的方式有多种,我采用的是docker 的部署方式。

docker pull pypa/bandersnatch
配置和部署:
  • 启动docker 镜像
$ sudo docker run -it -v /srv/pypi:/srv/pypi pypa/bandersnatch:latest bash #我本地硬盘mount到了/srv/pypi
  • 第一次执行bandersnatch mirror会生成/etc/bandersnatch.conf
root@97a753fce661:/bandersnatch# bandersnatch mirror
2021-10-26 13:12:53,502 WARNING: Config file '/etc/bandersnatch.conf' missing, creating default config. (main.py:200)
2021-10-26 13:12:53,502 WARNING: Please review the config file, then run 'bandersnatch' again. (main.py:201)
  • 编辑 /etc/bandersnatch.conf文件,主要是修改一下存放文件的路径
directory = /srv/pypi
  • 再次执行bandersnatch mirror,开始mirror。(国内从官网下载文件,速度较慢且不稳定,如果网速能接受等待全部下载完即可)
  • 如果发现从官网下载速度或者稳定性欠佳,可修改成国内源下载文件。

        首先还是需要执行bandersnatch mirror直到开始下载文件,此时会生成todo文件(必须需要有该文件),按ctrl+c取消mirror.

root@97a753fce661:/bandersnatch# ls -l /srv/pypi/
total 7220
-rw------- 1 root root       1 Oct 26 11:56 generation
-rw------- 1 root root 7381714 Oct 26 12:16 todo
drwxr-xr-x 5 root root    4096 Oct 26 11:56 web

           修改/etc/bandersnatch.conf中的下面内容,为何不一开始就替换为国内源呢?是因为常用的国内源似乎暂不支持xmlrpc服务,导致无法获取到文件元数据信息,只好先从官网获取元数据信息,获取到以后再换成国内源进行下载。

download-mirror = https://pypi.doubanio.com/
download-mirror-no-fallback = False
  •         修改完成后执行bandersnatch mirror,就会发现使用豆瓣源下载文件了,速度有了大幅提升。

      

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/349790.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号