阿里天池二手车交易价格预测(一)——EDA

Exploratory Data Analysis是数据科学领取理解和分析数据的方法，通过不断的收集、分析和假设验证，以取得对数据的深入理解。

• EDA的价值主要在于熟悉数据集，了解数据集，对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。
• 当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。
• 引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。
• 完成对于数据的探索性分析，并对于数据进行一些图表或者文字总结。

Data Set : used_car 链接: https://tianchi.aliyun.com/competition/entrance/231784/information

用到以下库

import pandas as pd
import seaborn as sns
import warnings
import missingno as msno
import numpy as np
# 用于忽略警告 
warnings.filterwarnings('ignore')

读取给定的数据并查看数据量

df_train = pd.read_csv('/Users/apple/Desktop/天池/UsedCarTransactionPriceForecast/used_car_train_20200313.csv',
                       sep=' ')
print("df_train.shape:",df_train.shape)
df_test = pd.read_csv('/Users/apple/Desktop/天池/UsedCarTransactionPriceForecast/used_car_testB_20200421.csv',
                      sep=' ')
print("df_test.shape:",df_test.shape)

查看数据

print(df_train.head()) # 默认为前5行
print(df_test.head())

使用describe() 可以查看关于count、mean、std等等 ，df_test类同，不再述复

df_train.describe()

查看数据类型

查看训练集和测试集 数据类型为 object

# 查看训练集和测试集 数据类型为 object
for col in df_train.columns:
    if df_train[col].dtype == "object":
        print(col)
for col in df_test.columns:
    if df_test[col].dtype == "object":
        print(col)

统计训练集和测试集的缺失值

print(df_train.isnull().sum())
print(df_test.isnull().sum())

可视化缺失值，只展示训练集的缺失值可视化，测试集一样

train_nan_sum = df_train.isnull().sum()
train_nan_sum = train_nan_sum[train_nan_sum>0]
train_bar_data = pd.Dataframe({'type':train_nan_sum.index.tolist(),'values':train_nan_sum.values.tolist()})
print(train_bar_data)
train_nan_abr = sns.barplot(x='type',y='values',data=train_bar_data)

也可以用 missingno 的 matrix 来更好的看数据的缺失情况

msno.matrix(df_train)

或者使用seaborn中过的heatmap 来观察缺失值

sns.heatmap(df_train.isnull(),cbar=False,cmap='viridis')

也可以用条形图

了解预测值的分布情况

拟合预测值情况

# johnsonsu是无界约翰逊分布，norm是最大似然高斯分布，lognorm是最大似然对数高斯分布
import scipy.stats as st
import matplotlib.pyplot as plt
plt.figure(1); plt.title('Johnson SU')
sns.distplot(df_train['price'], kde=False, fit=st.johnsonsu)
plt.figure(2); plt.title('norm')
sns.distplot(df_train['price'], kde=False, fit=st.norm)
plt.figure(3); plt.title('lognorm')
sns.distplot(df_train['price'], kde=False, fit=st.lognorm)

从上面分析可知，预测值分布最接近无界约翰逊分布
查看 偏度 和 峰度

# 查看skewness and kurtosis
sns.distplot(df_train['price']);
print("Skewness: %f" % df_train['price'].skew()) # 偏度
print("Kurtosis: %f" % df_train['price'].kurt()) # 峰度

进行Log转换后的预测值可视化对比

fig,(ax1,ax2) = plt.subplots(2,1,figsize=(12,8))
df_train['price'].plot(kind='hist',bins=100,title='train_hist',ax=ax1)
df_train['price'].apply(np.log).plot(kind='hist',bins=100,title='Log_train_hist',ax=ax2)