文章目录提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
- 第一战 python数据预处理方法
- 1.1 数据读取
- 1.1.1 读取csv文件
- 1.1.2 读取excel文件
- 1.1.3 读取图片
- 1.1.4 npy跟m文件
第一战 python数据预处理方法
在进行机器学习算法实验时,我们通常都是会对数据进行处理,我谈一下遇见的数据预处理的方式
1.1 数据读取
首先是数据的读取,通过数据格式一般为csv,excel,图片,还有一些像npy,mat文件,我们首先要将他们转换成python数据格式,挨个来看一下。
1.1.1 读取csv文件我平时使用的panda函数库,如果没有可以安装一下,安装代码如下:
直接找到python命令窗口输入pip install pandas就可以了,如果你的函数库下载源头没改成国内,下载比较慢,建议改成清华园,或者下载时候指定下载源:
pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple
后期如果下载其他包,也可以按照这个方式,这样比较麻烦,建议一次更换好下载源。安装好了就准备开始实验了图片。直接上代码。
我个人感觉这个方法最简洁的,你们发现更好的可以跟我说一下,一起学习图片
因为这个跟csv大致相同直接上代码吧。
基本相同就是调用函数不一样。
(1)首先是利用PIL中的Image函数
都做到这里了,我就想看看这个图片数组组成,看看它的类型,和维度。
类型
这样不行,我一般训练是数组格式,转换类型吧,顺便看看维度。
维度
嗯嗯,这样看着就可以了,维度(1023,820,3),其中1023表示高,820表示宽,3表示该元素的RGB色彩值,怎末理解呢,你就想一个画布高是1023,宽是820,由1023*820个格子组成一幅画,每个格子代表某个颜色,颜色怎末来的,就是那个3(所有颜色可由红绿蓝调配出来,那个3代表三种颜色用多少,调配当前颜色,这样就能理解了吧)。
(2)matplotlib读取文件
这个可以直接读取成数组格式,你们觉得方便可以用这个,不过我经常用的是方法1.
(3)opencv-python
这个也不错,python处理数据真的好图片,条条大路通罗马。
因为这两个我暂时没有文件,就简单写个代码。
(1).npy文件是numpy专用的二进制文件
(2).mat应该是matlab的数据文件吧
我感觉这个用不到,既然是matlab数据,直接用matlab处理,那个也不错



