栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

pytorch/MNIST/手写数据集识别/重写dataset/使用自己制作的数据库来完成模型的正确率检测

pytorch/MNIST/手写数据集识别/重写dataset/使用自己制作的数据库来完成模型的正确率检测

pytorch/MNIST/手写数据集识别/重写dataset/使用自己制作的数据库来完成模型的正确率检测
第一次发博文,可能有不周到之处敬请指出!(文章编辑快捷键用的就很爽)
本文针对使用MNIST数据库训练,用自己手写的数据来完成模型的验证。
MNIST模型代码

在此贴一个链接:
pytorch中文手册,网页版
注意使用pycharm用户代码移植时将代码中test函数要更改,不然会进入实例化测试线程(血泪教训)

重写dataset函数

这段我也是参考的本站中一位大佬的代码,可移步:
Pytorch自定义加载数据–自定义Dataset

大家可以先使用大佬代码,接下来我会对我出现的错误逐一更正(更正用时:~8h,实属菜鸡)

重头戏——debug

主要是针对重写的dataset函数修改。
因为代码移植后会报很多错误。

1
img = io.imread(img_path)# 读取该图片

我使用的自己的数据集是RGBA的,读入后会显示要输入通道数和数据图片的通道数不一致,为了与输入通道数一致,转化为灰度图片,所以我改为:

from PIL import Image #注意加上这个文件
img = Image.open(img_path).convert('L')  # 读取该图片
2

原文为:

		 sample = {'image':img,'label':label}#根据图片和标签创建字典
		 
         if self.transform:
             sample = self.transform(sample)#对样本进行变换
         return sample #返回该样本

这段用字典类型盛放数据我没搞懂,但是确实在debug时候报错了,说是dict不能用,要用其他类型数据,我参考了其他代码,这样改动:

        # sample = {'image': img, 'label': label}  # 根据图片和标签创建字典

        if self.transform:
            img = self.transform(img)  # 对样本进行变换
        return img,label  # 返回该样本

好啦!

3

原文:

label = img_path.split('\')[-1].split('.')[0]  # 根据该图片的路径名获取该图片的label,

但是实际上所读取的是字符类型,我们给它要转为整数类型:

        label = img_path.split('\')[-1].split('.')[0]  # 根据该图片的路径名获取该图片的label,
        label = int(label)
4

那个大佬在transform时候使用了None,他的原文如下:

 data = AnimalData('E:/Python Project/PyTorch/dogs-vs-cats/train',transform=None)#初始化类,设置数据集所在路径以及变换

但是我还是报错了,报错信息如下:

TypeError: default_collate: batch must contain tensors, numpy arrays, numbers, dicts or lists; found 

我将transform的None改成和MNIST数据集预处理的transform一样,代码如下:

 data = AnimalData('E:/Python Project/PyTorch/dogs-vs-cats/train',transform=transform=transforms.Compose([
                           transforms.ToTensor(),
                           transforms.Normalize((0.1307,), (0.3081,))
                       ]))#初始化类,设置数据集所在路径以及变换

我们数据集路径与他不同,此处仅参考transform变化即可。

总结

经过菜鸡的不断反复折腾,这玩意终于可以出来结果,并且正确率还行(70~80%),虽然有usewaring,但不影响结果的最终输出。

可能因为环境配置和数据源的不同导致了我的上述报错,此贴单纯当作记录和给在图像处理的萌新一些参考,因为我也是,,,,
如果大家有源代码和数据集实机演示需求可留言,我会上传的

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/342797.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号