- 1. 参考链接
- 2. 有用的命令
- 3. 过程-参考第一个链接!
- 3.1 打开colab,连接云端虚拟机
- 3.2 配置实验资源(code+dataset)
- 4. 使用colab的注意事项
- 5. 断连问题解决方法
1. 参考链接
- 这个链接真的超详细!利用谷歌colab跑github代码AttnGAN详细步骤 深度学习实验(colab+pytorch+jupyter+github+AttnGAN)
- 使用自己数据集在google colab上进行yolov5模型训练
- Google colab 安装旧版本pytorch1.6
- colab 上挂载云盘,切换到指定目录
- Colab使用教程(我觉得这篇文章写得很小清新)
❀❀❀❀❀
关于mmdetection在Colab上的配置,可参考以下:
- 官方教程已经写得很清楚啦mmdetection-Object Detection
- 链接1
- 链接2
2. 有用的命令
- 挂载云盘 + cd进入到项目目录
# 挂载到云盘
from google.colab import drive
drive.mount("/content/drive")
# 进入项目(注意必须是单引号),并切换进mmdetection-2.24.1目录,开始运行代码
import os
os.chdir('/content/drive/MyDrive/mmdetection_work/')
%cd /content/drive/MyDrive/mmdetection_work/mmdetection-2.24.1
- 返回上一级:!cd …(但是好像有时候用%才有用呀,要切换到某目录下,就写成%cd 路径)
- 删除某个文件或者文件夹:!rm -rf <文件or文件夹>
- 查看当前目录:!pwd
- 查看当前目录里的所有文件和文件夹:!ls
- 解压zip格式的压缩文件(text.zip为目标文件):!unzip text.zip
- 解压tar格式的压缩文件(CUB_200_2011.tgz为目标文件):!tar -xf CUB_200_2011.tgz
- 显示GPU信息:!nvidia-smi
- 显示当前Cuda信息:!nvcc -V
- 显示当前Torch版本:
import torch print(torch.__version__)
3. 过程-参考第一个链接! 3.1 打开colab,连接云端虚拟机
(1) 进入谷歌云端硬盘 google drive 后,新建一个文件夹取名为mmdetection_work(专用于colab进行mmdetection训练)
(2) 进入到mmdetection_work文件夹(此时为空),右键,在更多中找到colaboratory(如图)
(3) 跳转来到Colab界面,如下图所示,相当于Jupyter,以文档的形式展现,可以运行和共享代码(点击上面的文件名Untitled0.ipynb可直接改名,我重命名为``)
注意左边那个橘色的文件夹部分,当成功连接到可执行文件时,就会显示自己挂载的云盘以及相应文件夹。
等待后,显示这样就是连接成功
(4) 点击连接,连接谷歌colab为你提供的虚拟机
(5) 更改虚拟机设置,使用GPU,准备开始白嫖
点击左上角修改-笔记本设置-硬件加速改为GPU
运行命令!nvidia-smi可查看分配的GPU信息
3.2 配置实验资源(code+dataset)
(1) 运行以下代码装载谷歌云端硬盘到虚拟机
from google.colab import drive
drive.mount('/content/drive')
(2) cd进入到mmdetection文件夹下,然后克隆github项目到虚拟机sample_data文件夹(一般情况下放在此文件夹,别处也可以)
首先找到github代码的HHTPS地址,如YOLOv5的:
然后在colab中输入克隆命令:
# install dependencies: (use cu111 because colab has CUDA 11.1) !pip install torch==1.9.0+cu111 torchvision==0.10.0+cu111 -f https://download.pytorch.org/whl/torch_stable.html # install mmcv-full thus we could use CUDA operators !pip install mmcv-full -f https://download.openmmlab.com/mmcv/dist/cu111/torch1.9.0/index.html # Install mmdetection !rm -rf mmdetection !git clone https://github.com/open-mmlab/mmdetection.git %cd mmdetection !pip install -e .
(剩下的操作还是看原链接吧,因为我还不大看得懂┭┮﹏┭┮:利用谷歌colab跑github代码AttnGAN详细步骤 深度学习实验(colab+pytorch+jupyter+github+AttnGAN)还有官方文档mmdetection-Object Detection)
4. 使用colab的注意事项
- colab的GPU使用是完全免费的,随便用,乱用,使劲用,加油一起薅谷歌的羊毛。
- 执行命令行前面加!
- 自带深度学习基础库及库的安装:
- Colab 自带了Pytorch, Tensorflow、Matplotlib、Numpy、Pandas 等深度学习基础库。
- 如果还需要其他依赖,如 Keras,可以新建代码块,利用pip安装
- 连续使用超过12小时会被限制,使用时中途保存模型文件
- 如果虚拟机长时间未检测到你有什么指令和动作,会自动切断连接,一切就得重新来(可查看本文的《4.断连问题解决方法》)
- 不要心动去充钱升级权限,国内也有很多优秀的云服务(例如AutoDL)
5. 断连问题解决方法
- 白嫖真是爽——google colab 总是断连解决方法
使用 F12 或者是 Ctrl + Shift + I 键就可以打开,然后选择 Console,键入以下代码 + Enter即可。
function ClickConnect(){
console.log("Working");
document.querySelector("colab-toolbar-button#connect").click()
}
setInterval(ClickConnect,60000)



