- 前言
- 一、在Ubuntu中下载docker工具
- 1、下载
- 2、安装
- 二、将自己的anaconda虚拟环境打包成镜像来构造(推荐)
- 1、拉取anaconda镜像
- 2、使用拉取的anaconda镜像创建容器
- 3、进入容器查看conda位置
- 4、将本地环境中的虚拟环境复制到docker容器中
- 5、将本地代码打包进docker
- 三、利用docker网站现有的镜像来下载镜像
- 1.查看当前现存的所有镜像
- 2.下载镜像
- 3、添加需要的模块来构造适合自己的容器
- 四、镜像的保存和发布
- 1、保存自己构建好的镜像
- 2、发布自定义的容器
- 五、在LICO节点中拉取容器
- 1、SSH登陆
- 2、使用singularity命令来构建节点端的环境
- 六、开始训练
- 参考链接
- 总结
前言
本文主要介绍LICO计算节点的使用方法,如何快捷的将电脑中的虚拟环境和代码文件使用计算结点进行计算。
一、在Ubuntu中下载docker工具 1、下载
(1)安装docker的apt源
apt-get install apt-transport-https ca-certificates curl software-properties-common
(2)添加docker官方的GPG
curl -s https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add
(3)添加docker的源。如果没有docker.list则自己创建一个
cd /etc/apt/sources.list.d vim docker.lis
清空原文件,加入以下内容
deb https://get.docker.io/ubuntu docker main2、安装
(1)安装docker
sudo apt install docker.io
(2)查看docker的版本
sudo docker version二、将自己的anaconda虚拟环境打包成镜像来构造(推荐)
由于使用第三中的仓库拉取方法会导致运行环境需要多次反复修改,相对来讲比较麻烦,更建议在本地虚拟环境中搭建出运行环境,再将环境整个打包进docker再发布,这样的方法较为方便,docker环境更改过程相对较少。
1、拉取anaconda镜像sudo docker pull continuumio/anaconda3
使用sudo docker images命令来查看是否拉取成功
2、使用拉取的anaconda镜像创建容器创建的容器名称可以自行定义,这里test为例
docker run --name test -idt continuumio/anaconda3
-idt中的 -d 指定容器的运行模式,可以使docker 的服务是在后台运行。但加了 -d 参数默认不会进入容器,想要进入容器需要使用指令 docker exec(下面会介绍到)。
执行完该指令后再查看一下容器列表(docker ps -a),发现有名为test的新容器被创建,容器一被创建就自动运行。
conda info --envs
再使用ctrl+D退出容器
此时能看到conda的base环境位于/opt/conda
slowfast为后来导入的环境,初始情况是没有的
退出容器后,将本地的虚拟环境进行打包复制
sudo docker cp /home/username/anaconda3/envs/slowfast slowfast:/opt/conda/envs
在上述命令中,/home/username/anaconda3/envs/slowfast 为自己需要进行封装打包的本地虚拟环境,slowfast是刚刚构建的容器名。 /opt/conda/envs 是构建在docker中的环境位置(也就是刚刚查到的conda位置)
接着查看环境是否复制成功
上图中的slowfast就是复制进来的本地环境
退出环境(exit或者Ctrl+D)后,将本地的代码复制到docker中:
sudo docker cp /home/username/.../SlowFast slowfast:/root/
/home/username/…/SlowFast是本地文件的路径(路径查询方法可在文件处打开终端,输入pwd查询当前位置)
slowfast:/root/是当前需要导入的容器名称和目录(一般存放存在根目录)
查看文件复制结果,是否存在。
ls /root/三、利用docker网站现有的镜像来下载镜像 1.查看当前现存的所有镜像
sudo docker images2.下载镜像
进入Docker Hub网页:https://hub.docker.com/
注册自己的账户名称,后续会用到
搜索基础的镜像文件,例如tensorflow
点击右下角Docker Pull Command中命令的复制,将其复制到ubuntu下的命令行中;也可以通过点击Tag在其中寻找自己想要的不同版本。
下载完成后查看当前存在的镜像信息
sudo docker images
此时发现tensorflow/tensorflow:latest镜像就下载好了
1、进入下载好的tensorflow镜像
docker run -it tensorflow/tensorflow:latest /bin/bash
2、在原始的容器中添加自己的模块。例如安装opencv-python
注:在容器中安装的模块的命令和传统本地命令有可能不尽相同,例如有时候opencv的模块就需要安装其他的相关依赖。可参考docker容器中使用opencv-python报错
pip install opencv-python
此时5e7ae5f8288d(容器的ID)容器中就加入了我们需要的模块
sudo docker ps -a
将在自定义的容器保存为镜像
sudo docker commit e16876231706 shantx/slowfast1:latest
其中e16876231706为容器ID,shantx/slowfast1:latest为根据自己的账号对应的自定义名称
注:自定义的名称最好使用Docker Hub的账户名称,我的名称为shantx,因此这样进行设置,方便进行后续工作
(1)在终端中登陆自己的docker hub账户
sudo docker login
(2)将构造好的容器上传到官网仓库
sudo docker push 容器名称
例如:
sudo docker push shantx/slowfast1
注:这里的1是自定义的,为了方便修改和版本迭代
这样就能在Docker Hub中找到自己的镜像了(搜索用户名即可)
右下角就为环境的拉取命令
这里需要使用ssh登陆的方法进行登陆,开启linux的ssh服务可以参考ubuntu开启SSH服务远程登录
1、SSH登陆使用shh登陆账户,并切换到个人文件夹中(校园内部账户需要连接校园网)
ssh username@ip地址2、使用singularity命令来构建节点端的环境
singularity build 环境名.sif docker://shantx/slowfast1
开始搭建节点环境
此时就可以查看到环境已经搭建完成
1、上传训练文件
在文件管理界面:右键——>Upload files进行本地文件上传
2、开始训练过程
进入提交作业,选择General-Common Job——点击使用——自定义作业名称——选择自己的工作目录——填写运行
参考链接
在LiCO中实现模型训练
Docker 封装anaconda环境,生成镜像并打包,纯小白一文读懂(二)
ubuntu开启SSH服务远程登录
ubuntu16.04中下载安装docker
将本地镜像上传到Docker镜像仓库
本篇文章是综合了其他博主的内容进行编写,形成了完整的方便自己查看教程,如有问题,联系侵删。



