【20210927】安装git和torch，kaggle竞赛提交

• 1 git 安装 + 与pycharm结合使用
• 2 Linux下安装torch
• 3 大数据机器学习kaggle竞赛
• 小结

服务器的：

>> git --version
git version 2.32.0

电脑上安装git：

git version 2.33.0.windows.2

pycharm github 上传可见此和此：

查看状态：

git status

解压：

unzip -d /ceph/home/yangsc21/kaggle/data/food/ sigs-big-data-ml-exam.zip

踩坑：不可以用rar格式的压缩包，这是Linux不是Windows

Linux 上使用 git：

git config --global user.name “YoungSeng”
git config --global user.email "..."
ssh-keygen -t rsa -C “...”

最后在github上添加公钥public-key即可

>> ssh -T git@github.com
Hi YoungSeng! You've successfully authenticated, but GitHub does not provide shell access.

git clone git@github.com:YoungSeng/SIGS_Big_Data_ML_Exam_2021.git

git add ...
git push origin master

linux删除一个目录：

rm -r /test

安装torch

linux怎么看cuda版本？

>> nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2021 NVIDIA Corporation
Built on Wed_Jun__2_19:15:15_PDT_2021
Cuda compilation tools, release 11.4, V11.4.48
Build cuda_11.4.r11.4/compiler.30033411_0

输入以下命令进行安装：

conda install pytorch torchvision torchaudio cudatoolkit=11.1 -c pytorch -c nvidia

下载太慢了！我们需要的是：
pytorch-1.9.1-py3.8_cuda11.1_cudnn8.0.5_0.tar.bz2 1.4 GiB 2021-09-15 01:21，下载链接
所以直接下载到本地pkgs，cd过去使用conda install直接安装

以下为测试安装torch是否成功：

>> python kaggle.py
1.9.1
True
NVIDIA GeForce RTX 3080

查看服务器gpu占用情况

nvidia-smi

1. 竞赛网址
2. baseline

首先下载数据集并解压 ，共1.50 GB（别解压，上传到服务器只能是一个文件…还得再压缩一次）

上传到服务器，并解压

--------------------epoch: 298--------------------
Training start ...
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 138/138 [00:37<00:00,  3.67it/s]
Wait for validation ...
* Acc@1 26.370% Acc@5 35.215%.
* Best Prec@1: 26.865%
--------------------epoch: 299--------------------
Training start ...
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 138/138 [00:36<00:00,  3.78it/s]
Wait for validation ...
* Acc@1 26.502% Acc@5 35.347%.
* Best Prec@1: 26.865%

最后表现不好：

1. 基本在实验室的电脑上安装好了git，与pycharm结合使用上传到个人的库比较方便，但是不知道怎么上传到organization的github上，所以现在先回避不解决这个问题；
2. torch的下载踩了一点坑，以后注意一下虚拟环境的使用；
3. 实验室的电脑配合服务器显卡我觉得不太方便，以后还是把实验室电脑做成和服务器一样的环境吧，torch什么的也都安装上，但这都是后话了，目前提交成功就不管了~以后很久再说吧