免费使用Colab运算资源

白嫖Colab运算资源

文章目录

白嫖Colab运算资源

一、Colab挂载云盘代码并运行模型二、Colab使用detectron2进行模型训练三、Colab使用MMDetection进行模型训练

1、本地安装mmdetection（windows版）(放弃)2、ubuntu安装，一次性搞定四、常见问题汇总

1、cannot connect to X server2、用量限额（Colab免费版支持12h）+ 空闲超时

一、Colab挂载云盘代码并运行模型

参考使用colab运行深度学习gpu应用（Mask R-CNN）实践

Colab在界面设计上虽然和阿里云天池实验室差不多，但是Google的生态圈实在太大了，在Google云盘中可以用Colab打开代码，大大提高开发者的工作效率。

先在Colab上点击修改 >> 笔记本设置 >> GPU，可以白嫖一台GPU

先将代码上传到Google云盘上（这一步最耗时，在colab使用之前先做，不会占用GPU资源），接着将云盘上的代码挂载到Colab远程虚拟服务器上。需要如下一些命令：

1）安装必要的包和软件

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

运行代码，运行中会提示输入验证码，点击程序给出的网址进行验证即可。

2）挂载Google云盘到Drive中

!mkdir -p drive
!google-drive-ocamlfuse -o nonempty drive

3）查看挂载文件

!ls drive

import os

os.chdir("/content/drive/faster_rcnn_pytorch_master")

附几张图上去

常见报错

Colab无法执行shell脚本

shell-init: error retrieving current directory: getcwd: cannot access parent directories: Transport endpoint is not connected
pwd: error retrieving current directory: getcwd: cannot access parent directories: Transport endpoint is not connected

解决方法参考python - Colab突然无法在目录中导航

快速解决方法：

前往Colab >> 点击运行时 >> 最后，单击重新启动运行时。（警告：您的局部变量将丢失）

我的解决方法：

代码执行程序 >> 将该运行时恢复出厂设置二、Colab使用detectron2进行模型训练

参考

Detectron2 Beginner’s Tutorial

Google Colab Free GPU Tutorial - 克隆git项目

三、Colab使用MMDetection进行模型训练

wget下载百度网盘文件

mmdetection colab tutorial

https://jingyan.baidu.com/article/c843ea0b5ca05236931e4a8e.html

1、本地安装mmdetection（windows版）(放弃)

参考

mmdetection installation tutorial在pycharm中使用conda虚拟环境（conda虚拟环境是已经创建好的）

1）ensure you have downloaded gcc and nvcc

参考安装minGW

# Check nvcc version
!nvcc -V
# Check GCC version
!gcc --version

2）install mmdetection

pip install mmdet

3）Create a conda virtual environment and activate it.

conda create -n open-mmlab python=3.7 -y
conda activate open-mmlab

4）Install PyTorch and torchvision following the official instructions, e.g.

# CUDA 10.1
conda install pytorch==1.5.1 torchvision==0.6.1 cudatoolkit=10.1 -c pytorch
#或者
pip install torch==1.7.1+cu110 torchvision==0.8.2+cu110 torchaudio==0.7.2 -f https://download.pytorch.org/whl/torch_stable.html

5）Install mmcv-full, we recommend you to install the pre-build package as below.

pip install mmcv-full -f https://download.openmmlab.com/mmcv/dist/cu101/torch1.4.0/index.html

#或者直接 
pip install mmcv-full
#更换源，下载更快
pip  install --index https://pypi.mirrors.ustc.edu.cn/simple/ mmcv-full

Note：

如果pytorch版本安装错误，mmcv-full会找不到对应版本

conda uninstall pytorch
conda uninstall libtorch

如果pip连接不上代理，而且下载速度很慢，可以更换源

pip  install --index https://pypi.mirrors.ustc.edu.cn/simple/ opencv-python==4.5.1.48

参考pip install 提示代理连接失败原因及解决办法

ubuntu安装anaconda找不到condarc：

condarc怎么修改_condarc文件找不到的问题【解决办法】Conda更新速度慢、更换源

conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/bioconda/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/menpo/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
    
conda config --set show_channel_urls yes

放弃治疗…

2、ubuntu安装，一次性搞定

参考installation

比较重要的一步：用git clone项目到本地，比直接解压zip好，方便安装requirement中的依赖包，及把mmdetection，mmaction的核心库安装在虚拟环境（open-mmlab）中，也方便显示修改的文档，显示修改的文档，显示修改的文档！！！（重要事情强调3遍）

Clone the MMDetection repository.

git clone https://github.com/open-mmlab/mmdetection.git
cd mmdetection

Install build requirements and then install MMDetection.

pip install -r requirements/build.txt
pip install -v -e .  # or "python setup.py develop"

四、常见问题汇总 1、cannot connect to X server

解决措施：关闭 OpenCV 的图像显示函数。

参考在Linux/colab下遇到: cannot connect to X server问题

2、用量限额（Colab免费版支持12h）+ 空闲超时

天下没有免费的午餐，想白嫖就需要有好的姿势（偶尔拿着K80跑一跑项目，或者跑一下小的模型，而且colab保存的重名的权重文件会存放在Google网盘的回收站中，不用担心模型重复训练）

如果想要有好的体验，参考官方说明选择最适合您的 Colab 方案

免费使用Colab运算资源

Python相关栏目本月热门文章