Python中numpy数据分析库知识点总结

• • 一、numpy读取数据
  • 二、对已读取数据的处理
  • • 2.1 转置
    • • ①第一种
      • ②第二种
      • ③第三种
    • 2.2 数值的修改
    • • ①单边进行修改
      • ②指定一个值，并对该值双边进行修改
      • ③指定两个值，并对第一个值的左侧和第二个值的右侧进行修改
    • 2.3 索引和切片
    • • ①索引单个元素
      • ②取出某行或某列
      • ③取出连续多行或多列
      • ④取出不连续的多行或多列
      • ⑤取出多个交叉点的元素
    • 2.4 数组的拼接和行列交换
    • • ①竖直拼接（`np.vstack`）
      • ②水平拼接（`np.hstack`）
      • ③行交换
      • ④列交换
    • 2.5 创建特殊类型的数组
    • • ①创建一个全0的数组
      • ②创建一个全1的数组
      • ③创建一个对角线为1的正方形数组(方阵)
    • 2.6 numpy中常用统计函数
    • • ①求和
      • ②均值
      • ③中值
      • ④最大值
      • ⑤最小值
      • ⑥最大值减去最小值
      • ⑦标准差
      • ⑧获取最大值的位置
      • ⑧获取最小值的位置
  • 三、几个注意点
  • • 3.1 numpy中的nan和inf
    • • ①两个`np.nan` 是不相等的
      • ②`np.nan` 的类型是`

推荐读入CSV（CSV:Comma-Separated Value,逗号分隔值文件）格式的文件

np.loadtxt(fname,dtype=np.float,delimiter=None,skiprows=0,usecols=None,unpack=False)

我们默认要处理的数据命名为　t　
如果，你不方便读入可以以下面的　t　为例子进行操作

t=np.array([[1,2,3],
            [4,5,6],
            [7,8,9]])

读取数据后可能不符合日常操作习惯，这时可以对数据进行转置处理。
有三种办法进行转置，但是我只推荐前两种。

t.transpose()

t.T

解释一下：这里通过交换0-axis和1-axis轴巧妙的将数据进行了转置

t.swapaxes(1,0)

这里通过举例子，来解释更容易理解！

这里其实是基于numpy中布尔索引，感兴趣的同学可以自行百度。
例子：我们想要把t中小于3的数字替换为3

t[t<3]=3

例子：我们想把t中小于5的数字替换为0，把大于5的替换为1
这里的np.where()是numpy的三元运算符

np.where(t<5,0,1)

例子：我们想把小于3的替换为3，大于5的替换为5
这里的clip()函数是修剪函数

np.clip(t,3,5)

这里通过举例子，来解释更容易理解！

例子：取出位于第一行第二列的元素

t[0,1]

例子：取出第2行和第2列

t[1,:] # 第二行
t[:,1] # 第二列

例子：取出第二行到第三行
取出第二行之后所有行(这个还是很有用的，因为，大多数情况下，我们数据的第一行都是标签)

t[1:3,:] # 第二行到第三行
t[1:,:] # 第二行之后所有行

例子：取出第一行和第三行

t[[0,2],:] # 取出第一行和第三行

例子：取出第2行和第2列的元素一　和　第3行和第3列的元素二，并组成一个新数组

t[[1,2],[1,2]]

我们大部分时间使用数组的拼接，很少用到数组的切割。因为我们如果需要切割，我们会首先选择切片。

t1=np.array([[1,2],
             [3,4]])
t2=np.array([[5,6],
             [7,8]])
print(np.vstack((t1,t2)))

output:

[[1 2]
 [3 4]
 [5 6]
 [7 8]]

t1=np.array([[1,2],
             [3,4]])
t2=np.array([[5,6],
             [7,8]])
print(np.hstack((t1,t2)))

output:

[[1 2 5 6]
 [3 4 7 8]]

将数组的二三行进行交换。

t[[1,2],:]=t[[2,1],:]

将数组的二三列进行交换。

t[:,[1,2]]=t[:,[2,1]]

np.zeros((3,4))

np.ones((3,4))

np.eye(3)

根据情况需要，选择传入axis=0或者axis=1或者不传入axis参数。

t.sum(axis=None)

t.mean(a,axis=None)

np.median(t,axis=None) 

t.max(axis=None) 

t.min(axis=None)

np.ptp(t,axis=None)

t.std(axis=None) 

np.argmax(t,axis=0)

np.argmin(t,axis=1)

np.nan(not a number)表示不是一个数字。
我们的数据中如果出现这种情况，不要着急删除整行或是整列数据，因为数据是宝贵的。我们可以将其替换为该行或该列的均值、中值等。

同时，np.nan具有一些特殊的性质，下面用代码来说。

# 两个nan 是不相等的
print(np.nan==np.nan) # False
print(np.nan!=np.nan) # True

print(type(np.nan)) # 

print(t!=t) 

np.isnan(t)

# 要注意的是这里的平均个数是删去nan元素后的数组个数
def fill_nan_by_col_mean(t):
    for i in range(t.shape[1]):
        t_col=t[:,i]
        if np.count_nonzero(np.isnan(t_col)) != 0:
            t_col[t_col!=t_col]=t_col[t_col==t_col].mean()
            # 没必要写这一句话，因为上面的t_col=t[:,i]属于view，属于浅拷贝，数据是同时变化的！
            t[:,i]=t_col

def fill_nan_by_row_mean(t):
    for i in range(t.shape[0]):
        t_row=t[i,:]
        if np.count_nonzero(np.isnan(t_row)) != 0:
            t_row[t_row!=t_row]=t_row[t_row==t_row].mean()
            # 没必要写这一句话，因为上面的t_row=t[i,:]属于view，属于浅拷贝，数据是同时变化的！
            t[i,:]=t_row

t1=t2

t1=t2[:,1]

t1=t2.copy()