栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

使用联想计算节点的方法整理

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

使用联想计算节点的方法整理

文章目录
  • 前言
  • 一、在Ubuntu中下载docker工具
    • 1、下载
    • 2、安装
  • 二、将自己的anaconda虚拟环境打包成镜像来构造(推荐)
    • 1、拉取anaconda镜像
    • 2、使用拉取的anaconda镜像创建容器
    • 3、进入容器查看conda位置
    • 4、将本地环境中的虚拟环境复制到docker容器中
    • 5、将本地代码打包进docker
  • 三、利用docker网站现有的镜像来下载镜像
    • 1.查看当前现存的所有镜像
    • 2.下载镜像
    • 3、添加需要的模块来构造适合自己的容器
  • 四、镜像的保存和发布
    • 1、保存自己构建好的镜像
    • 2、发布自定义的容器
  • 五、在LICO节点中拉取容器
    • 1、SSH登陆
    • 2、使用singularity命令来构建节点端的环境
  • 六、开始训练
  • 参考链接
  • 总结


前言

本文主要介绍LICO计算节点的使用方法,如何快捷的将电脑中的虚拟环境和代码文件使用计算结点进行计算。


一、在Ubuntu中下载docker工具 1、下载

(1)安装docker的apt源

apt-get install apt-transport-https ca-certificates curl software-properties-common

(2)添加docker官方的GPG

curl -s https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add 

(3)添加docker的源。如果没有docker.list则自己创建一个

cd /etc/apt/sources.list.d
vim docker.lis

清空原文件,加入以下内容

deb https://get.docker.io/ubuntu docker main
2、安装

(1)安装docker

sudo apt install docker.io

(2)查看docker的版本

sudo docker version

二、将自己的anaconda虚拟环境打包成镜像来构造(推荐)

由于使用第三中的仓库拉取方法会导致运行环境需要多次反复修改,相对来讲比较麻烦,更建议在本地虚拟环境中搭建出运行环境,再将环境整个打包进docker再发布,这样的方法较为方便,docker环境更改过程相对较少。

1、拉取anaconda镜像
sudo docker pull continuumio/anaconda3

使用sudo docker images命令来查看是否拉取成功

2、使用拉取的anaconda镜像创建容器

创建的容器名称可以自行定义,这里test为例

docker run --name test -idt continuumio/anaconda3

-idt中的 -d 指定容器的运行模式,可以使docker 的服务是在后台运行。但加了 -d 参数默认不会进入容器,想要进入容器需要使用指令 docker exec(下面会介绍到)。

执行完该指令后再查看一下容器列表(docker ps -a),发现有名为test的新容器被创建,容器一被创建就自动运行。

3、进入容器查看conda位置
conda info --envs

再使用ctrl+D退出容器

此时能看到conda的base环境位于/opt/conda
slowfast为后来导入的环境,初始情况是没有的

4、将本地环境中的虚拟环境复制到docker容器中

退出容器后,将本地的虚拟环境进行打包复制

sudo docker cp /home/username/anaconda3/envs/slowfast slowfast:/opt/conda/envs

在上述命令中,/home/username/anaconda3/envs/slowfast 为自己需要进行封装打包的本地虚拟环境,slowfast是刚刚构建的容器名。 /opt/conda/envs 是构建在docker中的环境位置(也就是刚刚查到的conda位置)
接着查看环境是否复制成功

上图中的slowfast就是复制进来的本地环境

5、将本地代码打包进docker

退出环境(exit或者Ctrl+D)后,将本地的代码复制到docker中:

sudo docker cp /home/username/.../SlowFast slowfast:/root/

/home/username/…/SlowFast是本地文件的路径(路径查询方法可在文件处打开终端,输入pwd查询当前位置)
slowfast:/root/是当前需要导入的容器名称和目录(一般存放存在根目录)
查看文件复制结果,是否存在。

ls /root/

三、利用docker网站现有的镜像来下载镜像 1.查看当前现存的所有镜像
sudo docker images
2.下载镜像

进入Docker Hub网页:https://hub.docker.com/
注册自己的账户名称,后续会用到

搜索基础的镜像文件,例如tensorflow

点击右下角Docker Pull Command中命令的复制,将其复制到ubuntu下的命令行中;也可以通过点击Tag在其中寻找自己想要的不同版本。

下载完成后查看当前存在的镜像信息

sudo docker images


此时发现tensorflow/tensorflow:latest镜像就下载好了

3、添加需要的模块来构造适合自己的容器

1、进入下载好的tensorflow镜像

docker run -it tensorflow/tensorflow:latest /bin/bash


2、在原始的容器中添加自己的模块。例如安装opencv-python
注:在容器中安装的模块的命令和传统本地命令有可能不尽相同,例如有时候opencv的模块就需要安装其他的相关依赖。可参考docker容器中使用opencv-python报错

pip install opencv-python


此时5e7ae5f8288d(容器的ID)容器中就加入了我们需要的模块

四、镜像的保存和发布 1、保存自己构建好的镜像
sudo docker ps -a 


将在自定义的容器保存为镜像

sudo docker commit e16876231706 shantx/slowfast1:latest

其中e16876231706为容器ID,shantx/slowfast1:latest为根据自己的账号对应的自定义名称
注:自定义的名称最好使用Docker Hub的账户名称,我的名称为shantx,因此这样进行设置,方便进行后续工作

2、发布自定义的容器

(1)在终端中登陆自己的docker hub账户

sudo docker login


(2)将构造好的容器上传到官网仓库

sudo docker push 容器名称

例如:

sudo docker push shantx/slowfast1

注:这里的1是自定义的,为了方便修改和版本迭代


这样就能在Docker Hub中找到自己的镜像了(搜索用户名即可)

右下角就为环境的拉取命令

五、在LICO节点中拉取容器

这里需要使用ssh登陆的方法进行登陆,开启linux的ssh服务可以参考ubuntu开启SSH服务远程登录

1、SSH登陆

使用shh登陆账户,并切换到个人文件夹中(校园内部账户需要连接校园网)

ssh username@ip地址

2、使用singularity命令来构建节点端的环境
singularity build 环境名.sif docker://shantx/slowfast1

开始搭建节点环境

此时就可以查看到环境已经搭建完成

六、开始训练

1、上传训练文件
在文件管理界面:右键——>Upload files进行本地文件上传

2、开始训练过程

进入提交作业,选择General-Common Job——点击使用——自定义作业名称——选择自己的工作目录——填写运行


参考链接

在LiCO中实现模型训练
Docker 封装anaconda环境,生成镜像并打包,纯小白一文读懂(二)
ubuntu开启SSH服务远程登录
ubuntu16.04中下载安装docker
将本地镜像上传到Docker镜像仓库

总结

本篇文章是综合了其他博主的内容进行编写,形成了完整的方便自己查看教程,如有问题,联系侵删。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/915760.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号