栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

【数据分析】第一章 数据载入和初步观察

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

【数据分析】第一章 数据载入和初步观察

第一章 数据载入和初步观察 导入numpy和pandas
  1. NumPy系统是Python的一种开源的数值计算扩展,这种工具可用来存储和处理大型矩阵,比Python自身的嵌套列表结构要高效的多(该结构也可以用来表示矩阵(matrix))。

  2. pandas 是基于NumPy的一种工具,该工具是为解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。它是使Python成为强大而高效的数据分析环境的重要因素之一。

    导入:
    import numpy as np
    import pandas as pd
    
绝对路径/相对路径载入数据
  1. 绝对路径就是最完整的路径

  2. 相对路径的相对则是不完整路径,这个相对指的就是相对于当前文件夹路径,我们常用’/‘来表示相对路径,’‘来表示绝对路径,

     相对路径载入:
     df= pd.read_csv('train.csv')#设置全局变量df,给df赋值,执行df可显示出train.csv 
     绝对路径载入:(2种方法)
     import os #导入os
     1. os.path.abspath('train.csv')
     2. path=os.path.abspath('train.csv')#设置全局变量path
     df = pd.read_csv(path)#给df重新赋值,再次执行df,仍然可显示出train.csv
    
读取数据
  1. read_csv和read_table都是是加载带分隔符的数据,每一个分隔符作为一个数据的标志,但二者读出来的数据格式还是不一样的,read_csv是以,为分隔符,read_table是以制表符 t 作为数据的标志,也就是以行为单位进行存储。

     pd.read_csv(path) #以‘,’为分隔符读取数据
     pd.read_table(path)#以‘t(制表符)’为分隔符读取数据
     pd.read_table(path,sep=',')=pd.read_csv(path) 
     df.head() #输出前五行数据
     df.T #表格转置
     os.getcwd()#查看当前工作目录
    
数据模块 chunksize
  1. 使用chunksize逐块读取数据后,read_csv操作返回一个TextParser对象

  2. 例子数据文件总共有10000行数据,使用chunksize=1000后,read_csv操作返回一个TextParser对象,该对象总共有10个元素,遍历过程中打印chunkercount验证得到

  3. 打印数据:

     df.get_chunk() #逐块读取后的text file reader文件
    
将表头改为中文
  df.columns=['乘客ID'...]
初步观察数据
  df.info() #显示有关DateFrame的信息,包括索引的数据类型dtype和列的数据类型dtype,非空值的数量和内存使用情况。
  df.describe()#用于生成描述性统计信息。描述性统计数据:数值类型的包括均值,标准差,最大值,最小值,分位数等;类别的包括个数,类别的数目,最高数量的类别及出现次数等;输出将根据提供的内容而有所不同。
  df.head(n) #输出表格的前n行
  df.tail(n) #输出表格的后n行
  df.isnull() #判断数据是否为空,为空的地方返回True,其余地方返回False
  df.shape #返回:(行数,列数)
  df.to_csv('[文件名]')  # 注意:不同的操作系统保存下来可能会有乱码。可以加入`encoding='GBK' 或者 ’encoding = ’utf-8‘‘`
pandas基础
  1. pandas中有两个数据类型DataFrame和Series,DataFrame是二维数据,Series是一维数据

    • Series两种定义方法:
    1. s1=pd.Series([值1,值2...],index=['索引1','索引2'...])
    2. s=pd.Series({'a':1,'b':2,'c':3})
    

    1. 用两个一维数据构造一个二维数据
    d={'one':pd.Series([1,2,3,4,5],index=['a','b','c','d','e']),'two':pd.Series({'a':1,'b':2,'c':3})} #one、two是列名,abcde是索引,
    df=pd.DataFrame(d)
    

  2. 数据列相关操作

    #查看df数据的每列的项:
    df.columns
    #查看某列所有的值:
    1. df 列名 #series类型
    2. df['列名'] #series类型
    3. df[['列名']] #DateFrame类型
    #删除某列:
       test_1=pd.read_csv('test_1.csv') #导入文件
    1. del test_1 ['列名'] #原文件上删除,只能删除一列
    2. test_1.pop('列名') #原文件上删除,显示删除的那列的数据
    3. test_1.drop(['列名'],axis=1) #删除后生成副本文件,原文件该列未删除
       #axis=0 删除行;axis=1 删除列
    4. test_1.drop(['列名'...],axis=1,inplace=True) #在原文件上删除,给inplace赋值为True
       #inplace=True:不创建新的对象,直接对原始对象进行修改;
       #inplace=False:对数据进行修改,创建并返回新的对象承载其修改结果。
    
  3. 筛选

    1. test_1['Age']<10 #作比较,返回每一行的比较结果:ture/false(返回一维数据)
    2. test_1[test_1['Age']<10] #返回二维数据
    3. 交集:& 并集:| #ex:midage=test_1[(test_1['Age']>10)&(test_1['Age']<50)]
    

    4. midage.loc[n] #将midage中第n行数据提取出来 (显示一维数据)
    5. midage.loc[[100...],['Pclass','Sex',...]] #将midage的数据中第100行的"Pclass"和"Sex"的数据显示出来,显示二维数据
    6. midage.iloc[[100,105,108],[3,4,5]] #使用iloc,参数不能为列名,而是第几列
    7. midage1=midage.reset_index(drop=True) #将df的索引重新设置一下,设置为0-n
       #drop=true,会将原来的索引删掉
    
  4. 创建dataframe数据:

    sample=pd.DataFrame(np.random.randn(3,3),index=list('213'),columns=list('bca')) #随机生成值
    

  5. 排序

    • sort_values(by, axis=0, ascending=True,inplace=False, kind=‘quicksort’, na_position=‘last’) (默认值,按列排序,升序,替换原有数据)
    • sort_index( axis=0, ascending=True) (默认值,按列排序,升序)
      • axis 如果axis=0,那么by=“列名”或者按列索引; 如果axis=1,那么by=“行名”或者按行索引;
      • ascending: True则升序,可以是[True,False],即第一字段升序,第二个降序
      • inplace: 是否用排序后的数据框替换现有的数据框 ,True或者False
      • kind: 排序方法
      • na_position : {‘first’, ‘last’}, default ‘last’,默认缺失值排在最后面
    1.#按值排序 
    sample.sort_values('b') #对b列的值排序,默认  
    2. #按索引排序
     sample.sort_index()
    3. 任选两列数据同时排序,先排前面的的基础上再排后面的sample.sort_values(['a','c'])#排a的基础上再按c排
    
  6. 计算

    1. 两个df数据可以直接计算,但是只计算行索引、列索引都相同的数据,其余为空(df1+df2)
    2. 两列也可以直接相加df['列1']+df['列2'],值对应相加
    
  7. 作图

    from matplotlib import pyplot as plt #导入数据包matplotlib
    plt.hist(df['列名'])# hist直方图的简称
    
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/893295.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号