【Datawhale动手学数据分析笔记】第一章数据加载查看及探索性分析

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

前言
一、数据加载
- 1.1 载入数据
- - 1.1.1 导入numpy和pandas
  - 1.1.2 载入数据
  - 1.1.3 逐块读取，每1000行为一个数据模块
  - 1.1.4 修改表头及数据索引
- 1.2 数据初步观察
- - 1.2.1 查看数据基本信息
  - 1.2.2 前部和后部的数据的观察
  - 1.2.3 空数据的观察
- 1.3 保存数据
- - 1.3.1 保存初步探索改变的数据
- 1.4 数据类型
- - 1.4.1 DateFrame和Series
  - 1.4.2 查看Dataframe数据类型每列的名称
  - 1.4.3 查看某列数据的所有值
  - 1.4.3 比较两个文件的列,删除不想要的列
  - 1.4.4 隐藏一些不想观察的列元素
- 1.5 筛选的逻辑
- - 1.5.1 pandas的条件筛选方式及交集并集
  - - 1.5.1.1 以"Age"为筛选条件,年龄10岁以下
    - 1.5.1.2 以"Age"为筛选条件,年龄10岁以上，50岁以下，将这些数据命名
  - 1.5.2 筛选后的数据探索
- 1.6 探索性数据分析
- - 1.6.1 Pandas数据排序
  - - 1.6.1.1 创建pandas数据
    - 1.6.1.2 pandas排序总结：
  - 1.6.2 对实际数据排序简单探索
  - 1.6.3 DataFrame数据计算
  - - 1.6.3.1 数据相加的小栗子
  - 1.6.4 任务：最大的家族是多少人
  - 1.6.5 describe()函数查看数据基本统计信息
  - 1.6.6 分别查看某些列的统计数据
总结
参考资料

前言

教程内容
教程现分为三个单元，大致可以分为：数据基础操作，数据清洗与重构，建模和评估。

数据基础操作：利用 pandas 加载、查看、探索性数据分析，对数据有基础认知
数据清洗与重构：将原始数据变为可输入模型的数据，包含数据重构(特征处理)and数据可视化
建模和评估：根据任务选择模型，建立模型，评估模型，模型优化

课程目标
学会操作数据，思考推理、分析数据
课程前提
本课程基于python语言采用Jupyter编写教程，因此，可以下载Anaconda。
下载Anaconda后可以通过配置环境变量使得 conda 命令能够在cmd中运行。

一、数据加载 1.1 载入数据

数据集下载 https://www.kaggle.com/c/titanic/overview

1.1.1 导入numpy和pandas

import numpy as np
import pandas as pd

如果环境中没有安装numpy或者pandas，则会显示加载失败。需要先安装功能包。可以在cmd命令行执行pip命令安装。也可以打开Anaconda程序直接搜索安装。

pip install numpy
pip install pandas

1.1.2 载入数据

可采用相对路径名也可采用绝对路径名来载入数据，载入后观察前3行数据：
(1) 使用相对路径载入数据

df = pd.read_csv('train.csv')
df.head(3)

(2) 使用绝对路径载入数据

df = pd.read_csv('/code/hands-on-data-analysis/第一单元项目集合/train.csv')  #此处填写绝对路径
df.head(3)

以上两段代码的运行结果如下：

思考:

获取当前正在撰写的代码文件的绝对路径的方法：import os os.getcwd()
operation system.get current working directory
pd.read_csv()和pd.read_table()的不同：pd.read_csv()读取文件时，默认以“，”为分隔符，pd.read_csv()读取文件时，默认以“ Tab”为分隔符，当然也可以自定义。具体参考官方文档了解。
‘.tsv’和’.csv’的不同：TSV 是Tab-separated values即制表符分隔值。CSV是Comma-separated values即逗号分隔值。TSV可以通过 pd.read_table('file.tsv',sep='t')来读取。
对于处理的业务，需要了解业务逻辑，可以使用google辅助了解

1.1.3 逐块读取，每1000行为一个数据模块

chunker = pd.read_csv('train.csv', chunksize=1000)

采用逐块读取文件的主要目的是防止文件过大，一次性加载到内存，会让内存爆掉，或者内存一次性无法加载这么多。通过设置 chunksize= 参数来实现。
设置 chunksize参数之后，读取的数据块的数据类型为TextFileReader

1.1.4 修改表头及数据索引

将表头改成中文，索引改为乘客ID [对于某些英文资料，我们可以通过翻译来更直观的熟悉我们的数据。要求及对应代码如下：
PassengerId => 乘客ID
Survived => 是否幸存
Pclass => 乘客等级(1/2/3等舱位)
Name => 乘客姓名
Sex => 性别
Age => 年龄
SibSp => 堂兄弟/妹个数
Parch => 父母与小孩个数
Ticket => 船票信息
Fare => 票价
Cabin => 客舱
Embarked => 登船港口

df = pd.read_csv('train.csv', names=['乘客ID','是否幸存','仓位等级','姓名','性别','年龄','兄弟姐妹个数','父母子女个数','船票信息','票价','客舱','登船港口'],index_col='乘客ID',header=0)
df.head()

代码运行结果如下：

1.2 数据初步观察

导入数据后，对数据的整体结构和样例进行概览，比如说，数据大小、有多少列，各列都是什么格式的，是否包含null等

1.2.1 查看数据基本信息

df.info()

运行结果如下：

1.2.2 前部和后部的数据的观察

df.head(10) # 观察前10行数据
df.tail(15)  # 观察后15行数据

前10行数据的运行结果如下：

思考：
还有其他替换表头的方法吗？

1.2.3 空数据的观察

判断数据是否为空，为空的地方返回True，其余地方返回False

df.isnull().head()  # .head（）来查看前5行经过.isnull处理后的信息

运行结果如下：

思考：
对于一个数据，除了对数据本身的观察，还可以从哪些方面来观察？

1.3 保存数据 1.3.1 保存初步探索改变的数据

将加载并做出改变的数据，在工作目录下保存为一个新文件train_chinese.csv

# 注意：不同的操作系统保存下来可能会有乱码。大家可以加入`encoding='GBK' 或者 ’encoding = ’utf-8‘‘`
df.to_csv('train_chinese.csv')

基于numpy和pandas：了解字段含义初步观察数据数据本身的运算

1.4 数据类型 1.4.1 DateFrame和Series 1.4.2 查看Dataframe数据类型每列的名称

df = pd.read_csv('train_chinese.csv') # 加载数据
df.head(3)  # 查看前3行
df.columns  # 查看每列名称

运行结果为：

Index(['乘客ID', '是否幸存', '仓位等级', '姓名', '性别', '年龄', '兄弟姐妹个数', '父母子女个数', '船票信息',
       '票价', '客舱', '登船港口'],
      dtype='object')

1.4.3 查看某列数据的所有值

如，想要查看 ‘客舱’ 这一列的所有值，两种方法如下：

df['Cabin'].head(3)
df.Cabin.head(3)

运行结果如下：

0    NaN
1    C85
2    NaN
Name: 客舱, dtype: object

1.4.3 比较两个文件的列,删除不想要的列

加载文件"test_1.csv"，然后对比"train.csv"，看看有哪些多出的列，然后将多出的列删除。

加载并查看文件"test_1.csv"，运行结果如下：

test_1 = pd.read_csv('test_1.csv')
test_1.head(3)

2. 与训练集的列名比较，发现测试集多了列‘a’，将其删除：

# 删除多余的列
del test_1['a']
test_1.head(3)

运行结果如下：

1.4.4 隐藏一些不想观察的列元素

将[‘PassengerId’,‘Name’,‘Age’,‘Ticket’]这几个列元素隐藏，只观察其他几个列元素

df.drop(['PassengerId','Name','Age','Ticket'],axis=1).head(3) # axis=1代表

运行结果如下：

思考：

采用del test_1['a']删除列，和采用test1.drop('a',axis=1,inplace=True)删除列的区别：del是完全删除,.drop是隐藏
如果想要.drop完全删除你的数据，使用inplace=True，因为使用inplace就将原数据覆盖了：test1.drop('a',axis=1,inplace=True)

1.5 筛选的逻辑

对表格类型数据，最想要的功能是：筛选数据。选出我所需要的信息，丢弃无用的信息。以下就Pandas实现此功能

1.5.1 pandas的条件筛选方式及交集并集 1.5.1.1 以"Age"为筛选条件,年龄10岁以下

df[df["Age"]<10].head(3)

运行结果如下：

1.5.1.2 以"Age"为筛选条件,年龄10岁以上，50岁以下，将这些数据命名

midage = df[(df["Age"]>10)& (df["Age"]<50)]
midage.head(3)

运行结果如下：

1.5.2 筛选后的数据探索

任务：显示清洗后的数据的第100行数据

reset_index()
前面的数据清洗操作中，会将带空值的行删除，此时DataFrame或Series类型的数据不再是连续的索引。可以使用reset_index()重置索引。

midage = midage.reset_index(drop=True)  #reset_index()重置索引
midage.head(3)                          # 初步观察重置索引后的结果

.loc方法按位置索引

midage.loc[[100],['仓位等级','性别']] # 将midage的数据中第100行的"仓位等级"和"性别"的数据显示出来
midage.loc[[100,105,108],['仓位等级','姓名','性别']]  # 将midage的数据中第100，105，108行的"仓位等级"，"姓名"和"性别"的数据显示出来

.iloc方法按位置索引
.loc和.iloc的区别：
loc是利用索引名称和列名称进行检索
iloc是利用索引号和列号进行检索

midage.iloc[[100,105,108],[2,3,4]] # 将midage的数据中第100，105，108行的"仓位等级"，"姓名"和"性别"的数据显示出

通过以上示例可以看到，同样是显示"仓位等级"，"姓名"和"性别"的数据，.loc和.iloc之间的区别

1.6 探索性数据分析

了解数据：《Python for Data Analysis》第五章

1.6.1 Pandas数据排序 1.6.1.1 创建pandas数据

要求：利用Pandas对示例数据进行排序，要求升序

创建DataFrame数据

# 具体请看《利用Python进行数据分析》第五章 排序和排名 部分

#自己构建一个都为数字的DataFrame数据
frame = pd.DataFrame(np.arange(8).reshape((2, 4)),  #生成一个二维数组（2*4）,第一列：0，1，2，3 第二列：4，5，6，7
                     index=['2', '1'],   # DataFrame 对象的索引列
                     columns=['d', 'a', 'b', 'c'])  # DataFrame 对象的索引行
frame

运行结果如下：

pd.DataFrame() ：创建一个DataFrame对象

import numpy as np
import pandas as pd

da = np.random.randint(100,size=(6,3))

df1 = pd.DataFrame(da,index=[["a","a","b","b","c","c"],["期末","期中","期末","期中","期末","期中"]],

columns=["语文","英语","数学"])

df1

运行结果如下：

对’c’列，按升序排序

# 大多数时候我们都是想根据列的值来排序,所以，将你构建的DataFrame中的数据根据某一列，升序排列
frame.sort_values(by='c', ascending=True)  # sort_values这个函数中by参数指向要排列的列，ascending参数指向排序的方式（升序还是降序）

运行结果如下：

1.6.1.2 pandas排序总结：

原数据如下图所示：

# 按行索引升序排序
frame.sort_index()
# 让列索引升序排序
frame.sort_index(axis=1)
# 让列索引降序排序
frame.sort_index(axis=1, ascending=False)

# 让任选两列数据同时降序排序
frame.sort_values(by=['a', 'c'], ascending=False)

上行代码排序后的结果如下图所示：

1.6.2 对实际数据排序简单探索

对泰坦尼克号数据（trian.csv）按票价和年龄两列进行综合排序（降序排列），从数据中你能发现什么

#加载所需的库
import numpy as np
import pandas as pd
#载入之前保存的train_chinese.csv数据，关于泰坦尼克号的任务，我们就使用这个数据
text = pd.read_csv('train_chinese.csv')
text.head()

text.sort_values(by=['票价', '年龄'], ascending=False).head(3)

运行结果如下图所示：

【思考】排序后，如果我们仅仅关注年龄和票价两列。根据常识我知道发现票价越高的应该客舱越好，所以我们会明显看出，票价前20的乘客中存活的有14人，这是相当高的一个比例，那么我们后面是不是可以进一步分析一下票价和存活之间的关系，年龄和存活之间的关系呢？当你开始发现数据之间的关系了，数据分析就开始了。

1.6.3 DataFrame数据计算 1.6.3.1 数据相加的小栗子

# 具体请看《利用Python进行数据分析》第五章 算术运算与数据对齐 部分

#建立一个例子
frame1_a = pd.DataFrame(np.arange(9.).reshape(3, 3),
                     columns=['a', 'b', 'c'],
                     index=['one', 'two', 'three'])
frame1_b = pd.DataFrame(np.arange(12.).reshape(4, 3),
                     columns=['a', 'e', 'c'],
                     index=['first', 'one', 'two', 'second'])

运行结果如下：

两Dataframe的尺寸不一样+两Dataframe行名和列名不一样，那么直接相加会有怎样的结果呢？

可以看到，Dataframe根据行列名进行对应相加，没有对应的会变成空值NaN。
DataFrame还有很多算术运算，如减法，除法等，有兴趣的同学可以看《利用Python进行数据分析》第五章算术运算与数据对齐部分，多在网络上查找相关学习资料。

1.6.4 任务：最大的家族是多少人

如果我们想看看在船上，最大的家族有多少人（‘兄弟姐妹个数’+‘父母子女个数’）

max(text['兄弟姐妹个数'] + text['父母子女个数'])

1.6.5 describe()函数查看数据基本统计信息

# 具体请看《利用Python进行数据分析》第五章 汇总和计算描述统计 部分

frame2 = pd.DataFrame([[1.4, np.nan], 
                       [7.1, -4.5],
                       [np.nan, np.nan], 
                       [0.75, -1.3]
                      ], index=['a', 'b', 'c', 'd'], columns=['one', 'two'])

# 调用 describe 函数，观察frame2的数据基本信息

frame2.describe()

'''
count : 样本数据大小
mean : 样本数据的平均值
std : 样本数据的标准差
min : 样本数据的最小值
25% : 样本数据25%的时候的值
50% : 样本数据50%的时候的值
75% : 样本数据75%的时候的值
max : 样本数据的最大值
'''

运行结果如下：

1.6.6 分别查看某些列的统计数据

分别看看泰坦尼克号数据集中票价、父母子女这列数据的基本统计数据，你能发现什么？

'''
看看泰坦尼克号数据集中 票价 这列数据的基本统计数据
'''
text['票价'].describe()

总结

本节最重要的不是大家得掌握这些函数，而是看懂从这些函数得到的的数据，构建自己的数据分析思维。
后面的章节我们将开始对数据进行清洗，进一步分析。

参考资料

Datawhale动手学数据分析：https://github.com/datawhalechina/hands-on-data-analysis

《利用Python进行数据分析》

【Datawhale动手学数据分析笔记】第一章 数据加载查看及探索性分析

Python相关栏目本月热门文章

【Datawhale动手学数据分析笔记】第一章数据加载查看及探索性分析