pandas数据预处理常用函数

import pandas as pd
import numpy as np

df = pd.Dataframe({'姓名': ['宇智波带土', '波风水门', '野原琳', '旗木卡卡西', '宇智波斑', '波风水门', '旗木卡卡西'],
                   '性别': ['男', '男', '女', '男', '男', '男', '男'],
                   '年龄': ['20', '26', '18', '21', '89', '26', '21'],
                   '身高': ['173.0', '177.0', np.NaN, '175.0', '177.0', '177.0', '175.0'],
                   '体重': [np.NaN, '70.0', '49.0', '68.0', '72.0', '70.0', '68.0']})
df

df.info()

# 数据类型转换
df['年龄'] = df['年龄'].astype(int)
df['身高'] = df['身高'].astype(float)
df['体重'] = df['体重'].astype(float)

df.info()

# 查看重复数据
df[df.duplicated()]

# 删除重复数据
df.drop_duplicates()

# 删除含有空值的行
df.dropna()

# 中位数填充缺失值
df['体重'].fillna(df['体重'].median())

# 均值填充缺失值
df['体重'].fillna(df['体重'].mean())

# 前向填充
df.ffill()

# 后向填充
df.bfill()

* 有关fillna函数的更多细节，可参考：fillna()函数详解_大胡子的博客-CSDN博客_fillna

* 有关缺失值处理原则的更多细节，可参考：缺失值处理python实现_Audrey_Meng的博客-CSDN博客_python缺失值处理