续1
一、查看缺失值
整体观察数据：df.info()，统计缺失值的数量df.isnull().sum()
二、处理缺失值
1、可以让缺失值等于0，可使用以下指令：
df[df['Age']==None]=0；df[df['Age'].isnull()] = 0；df[df['Age'] == np.nan] = 0
df.fillna(0)
2、可以删除缺失值：df.dropna()
三、处理重复值
1、查看重复值：df[df.duplicated()]
2、删除有重复值的行：df = df.drop_duplicates()
四、特征处理
特征一般分成文本型和数值型两种，数值型特征可以直接处理，但有时也需要把连续型变量转换成离散型变量，模型会更加稳定；而文本型特征往往需要分类赋值转换成数值才能建模分析。
1、对年龄分箱操作
按数据量平均分：df['AgeBand'] = pd.cut(df['Age'], 5,labels = [1,2,3,4,5])
人为指定区间来划分：df['AgeBand'] = pd.cut(df['Age'],[0,5,15,30,50,80],labels = [1,2,3,4,5])
人为指定数据量来划分：df['AgeBand'] = pd.qcut(df['Age'],[0,0.1,0.3,0.5,0.7,0.9],labels = [1,2,3,4,5])
2、对文本进行处理
1）查看文本的种类和对应数量：df['Sex'].value_counts()、df['Sex'].unique()
2）转换文本：
法一、replace方法：df['Sex_num'] = df['Sex'].replace(['male','female'],[1,2])
法二、map方法：df['Sex_num'] = df['Sex'].map({'male': 1, 'female': 2})
法三、俺看不懂的方法：from sklearn.preprocessing import LabelEncoder
for feat in ['Cabin', 'Ticket']:
lbl = LabelEncoder()
label_dict = dict(zip(df[feat].unique(), range(df[feat].nunique())))
df[feat + "_labelEncode"] = df[feat].map(label_dict)
df[feat + "_labelEncode"] = lbl.fit_transform(df[feat].astype(str))
3）转为one-hot编码（看样子是把所有出现的值都单独分开作为一栏，以示性函数记之）
for feat in ["Age", "Embarked"]:
x = pd.get_dummies(df[feat], prefix=feat)
df = pd.concat([df, x], axis=1)
得到的数据会有非常多的列，真棒。
4）从纯文本NAME中提取title：
df['Title'] = df.Name.str.extract('([A-Za-z]+).', expand=False)
好吧，这代码看着也不会，今天就到这咯。
