批量解压ImageNet ISLVRC2012数据集的下载并按标准布局解压

最近在github中扒寻大佬代码，准备进行复现，发现很多都使用了imagenet这个数据集。之前因为数据集较为庞大，且下载困难（需要使用学校邮箱账户注册申请下载，且在外网），便一直没有使用，这次下定决心迈过这个坎决定处理一下这个数据集。

好在网络的发达，有大佬将数据集存入了迅雷，并无私的将资源奉献了出来

• ImageNet ISLVRC2012的下载并按标准布局解压
• 前言
• 一、ImageNet ISLVRC2012的下载
• 二、解压步骤
• • 1.布局要求
  • 2.数据集解压
  • • （1）解压训练集
    • （1）解压验证集
• 总结

因为我使用的系统是windows，找到的解压命令很多都linux系统中的，为了能在windows系统下使用，因此下载Git这个软件，在其中的Git Bash中使用以下命令，因为Git Bash集成了很多linux的命令，方便我们的使用。
Git如图所示，第一个就是Git Bash。

提示：以下是本篇文章正文内容，下面案例可供参考

ImageNet ISLVRC2012的下载
以下两个链接为迅雷链接，复制打开迅雷后就可下载，因为数据集较大（训练集+验证集有144G），下载需要大量时间。

训练集：
http://academictorrents.com/download/a306397ccf9c2ead27155983c254227c0fd938e2.torrent
验证集
http://academictorrents.com/download/5d6d0df7ed81efd49ca99ea4737e0ae5e3a5f2e5.torrent

论文中要求的解压格式如下显示：

要求的标准布局如下：

/path/to/imagenet/
  train/
    class1/
      img1.jpeg
    class2/
      img2.jpeg
  val/
    class1/
      img3.jpeg
    class2/
      img4.jpeg

直接解压的话往往是各个类的图片混合在一起在一个文件夹下，因为有百万张图片之巨，单纯的用人工进行分类无异于是天方夜谭。

将下载的数据集压缩包放置在同一文件夹下：

在这个文件夹下右击，点击Git Bash Here：

打开的Git Bash Here窗口显示如图：

将以下命令输入到窗口中：

mkdir train && mv ILSVRC2012_img_train.tar train/ && cd train
tar -xvf ILSVRC2012_img_train.tar && rm -f ILSVRC2012_img_train.tar
find . -name "*.tar" | while read NAME ; do mkdir -p "${NAME%.tar}"; tar -xvf "${NAME}" -C "${NAME%.tar}"; rm -f "${NAME}"; done
cd ..

三行命令逐行输入进Git Bash Here窗口中。

解压后的图片按类保存在每个单独文件夹中

与解压训练集相同，使用以下命令。

wget https://raw.githubusercontent.com/soumith/imagenetloader.torch/master/valprep.sh

mkdir val && tar -xvf ILSVRC2012_img_val.tar -C val && mv valprep.sh val && cd val && bash valprep.sh

由于第一行要下载的valprep.sh文件在外网（valprep.sh文件中保存的就是图片按类生成文件夹的布局），很难下载，因此我在这里上传了迅雷链接，将下载后的文件放入和验证集压缩包同一文件夹下，这样直接在Git Bash Here窗口使用第二个命令就可以完成解压。

链接：https://pan.xunlei.com/s/VMkus56ePQ4LMJUIXheBkhXSA1 提取码：k9ej

解压后的测试集如图所示：

https://www.cnblogs.com/luruiyuan/p/12373328.html