Python数据清洗

• 应用目标
• 思路分析
• • main函数
  • 异常值处理功能函数
  • • • 3σ原则
      • 箱形图
  • 异常值置空+ 空值填充功能函数
  • • • 异常值置空
      • 空值填充
  • 读写csv文件功能函数
  • • • 读csv文件
      • 写csv文件
• 运行结果
• 源码分享

• 手动准备异常数据集（使用新手学习最广泛地数据集iris.csv，自行添加异常值和空值）

• 识别异常数据（方法一：3σ原则识别异常值 方法二：箱形图）

• 填补缺失值/空白值（向上填补、向下填补、指定值填补）

• 数据清洗结果保存至文件

• 为了更好地封装功能函数，采用统一的接口，功能函数返回相同的数据结构。

• 相较于以往，可插入性更加完善，比如方便添加若干种异常值处理方法或数据填充方法。

• main函数完成的是框架工作，提供统一接口，方便后期扩充功能函数。

def main():
    # 从文件读取数据
    path = "iris_mistake.csv"
    or_data = read_data(path)

    # 异常值处理 两种选择方式 返回异常值所在位置
    outlier_method = input('输入异常值处理方法(three_sigma/box_plot):')
    if outlier_method == "three_sigma":
        outlier = three_sigma(or_data)
    elif outlier_method == "box_plot":
        outlier = box_plot(or_data)

    # 将异常值置空
    nan_data = update_data_to_null(or_data, outlier)

    # 空值填补处理 三种选择方式 返回填补后的dataframe
    fill_method = input('输入空值填补方法(fillup/filldown/value):')
    fill_data = fillna(nan_data,fill_method)

    # 写入文件
    new_path = "iris_" + outlier_method + "_" + fill_method + ".csv"
    write_csv(new_path,fill_data)

if __name__=="__main__":
    main()

• 以列为单位进行循环处理（计算均值方差 -> 找到上下界 -> 返回异常值的index元组）
• 不同的数据集，需要手动调整pass的列（iris数据集的最后一列Species 不需要参与计算）

def three_sigma(or_data):
    column_id = 0                   
    outlier = []                        # 存放异常值index
    for column_head in or_data.columns: # 按列遍历
        if column_head == 'Species':    # 最后一列不进行处理
            pass
        else:
            print(column_head)          # 计算总和、均值、方差
            column_data_sum = or_data[column_head].sum()
            column_data_mean = or_data[column_head].mean()
            column_data_std = or_data[column_head].std()
            print("总和:",end=' ')
            print(column_data_sum)
            print("均值:", end=' ')
            print(column_data_mean)
            print("方差:", end=' ')
            print(column_data_std)
            high = column_data_mean + 3 * column_data_std      # 最大界
            low = column_data_mean - 3* column_data_std        # 最小界

            for cell in or_data[column_head]:
                if cell > high or cell < low :
                    print("异常值:",end=' ')
                    print(cell)                 # 找到异常值的行号
                    row_id = or_data[(or_data[column_head]==cell)].index.tolist()
                    for i in row_id:            # 异常值行号与列号组成元组
                        cell_iloc = (i, column_id)
                    outlier.append(cell_iloc)   

        column_id = column_id + 1

    print(outlier)
    return outlier                               # 返回所有异常值的index

• 总体功能与上一种方法如出一辙，最大的不同点在于绘制箱形图，具体的参数设置已经在注释标明，更官方的plot资料参考其他优质博客。

def box_plot(or_data):
    column_id = 0
    outlier = []
    for column_head in or_data.columns:

        if column_head == 'Species':
            pass
        else:
            # 找到异常值
            iqr = or_data[column_head].quantile(0.75) - or_data[column_head].quantile(0.25)
            # 下阈值
            val_low = or_data[column_head].quantile(0.25) - iqr * 1.5
            # 上阈值
            val_up = or_data[column_head].quantile(0.75) + iqr * 1.5
            # 异常值

            print(column_head)
            print("IQR:", end=" ")
            print(iqr)
            print("下阈值:", end=" ")
            print(val_low)
            print("上阈值:", end=" ")
            print(val_up)

            for cell in or_data[column_head]:
                if cell > val_up or cell < val_low:
                    print("异常值:", end=' ')
                    print(cell)
                    row_id = or_data[(or_data[column_head] == cell)].index.tolist()
                    for i in row_id:
                        cell_iloc = (i, column_id)
                    outlier.append(cell_iloc)

        column_id = column_id + 1
    print(outlier)

    # 绘制图像
    show_data = or_data.iloc[:, 0:4]
    # print(show_data.head(10))

    fig, axes = plt.subplots(1, 4)
    color = dict(boxes='DarkGreen', whiskers='DarkOrange',
                 medians='DarkBlue', caps='Red')
    # boxes表示箱体，whisker表示触须线
    # medians表示中位数，caps表示最大与最小值界限

    show_data.plot(kind='box', ax=axes, subplots=True,
                   title='Different boxplots', color=color, sym='r+')
    # sym参数表示异常值标记的方式

    fig.subplots_adjust(wspace=1, hspace=1)  # 调整子图之间的间距
    fig.savefig('boxplot.png')

    # 返回异常值的index
    return outlier

def update_data_to_null(or_data,outlier):
    for loc in outlier:                 # 从异常值处理函数get位置坐标 完成nan更新
        # print(loc[0])
        # print(loc[1])
        or_data.iloc[loc[0], loc[1]] = np.nan
        print(or_data.iloc[loc[0],loc[1]])

    return or_data                      # 返回更新后的数据集

def fillna(nan_data,fill_method):
    if fill_method == "fillup":         # 向上填充
        return nan_data.fillna(method='ffill')
    elif fill_method == "filldown":     # 向下填充
        return nan_data.fillna(method='bfill')
    else:                               # 指定值填充
        somevalue = float(input("输入填充的数值:"))
        return nan_data.fillna(value=somevalue)

def read_data(path):
    data = pd.read_csv(path)
    print(type(data))
    return data

def write_csv(new_path,fill_data):
    fill_data.to_csv(path_or_buf=new_path , header=True, index =False)

采用不同的功能函数得到不同的结果

此次源码暂且不提交github或gitee，关注博主，联系邮箱 Andel2001@163.com