表格结构数据特征&表结构数据特征 表格结构数据特征

数据类别：结构化数据&非结构化数据

        结构化数据：交易数据、财务数据、产品信息、库存信息......

        非结构化数据：图片信息、社交聊天记录、视频......

表格结构数据层级：对象间的父子级关系

        父--->子：一个父级对象包含多个不同子级对象

        子--->父:一个子级对象只属于某个特定的父级对象

表格结构数据的数据类型：数值型、文本型、逻辑性（True/False）

单元格的格式属性：数字格式&显示格式

        数字格式：决定显示形式

        显示格式：决定显示效果

表格结构数据获取方法

后台数据库系统

前端操作平台

 

企业外部渠道

 

表格数据结构数据使用方法

单元格值的引用方法：eg：=A1

单元格区域值的引用方法：eg：=A1:A10

表格结构数据查询/替换方法：crl+f/replace函数

表格结构数据的计算方法：直接计算&函数计算

表结构数据特征

（1）以字段或记录作为数据的引用、操作及计算的基本单位数据

（2）所有字段记录行数相同

（3）一个表中有且只有一个主键（主键特点：非空、不重复）

        缺失值处理方法         a、不处理

        根据数据类型及生成信息重要程度的不同，使用不同的方法处理缺失值，若该缺失数据对分析影响不大，可保持原本信息不处理原则减少噪声。

       b. 特殊值填充

          将空值作为一种特殊的属性值来处理，如将空值用“unknown”填充。

      c. 平均值/众数填充

1. 如果空值是数值型的，就根据该属性在其他所有对象的取值的平均值来填充该缺失的属性值
2. 如果空值是非数值型的，就根据统计学中的众数原理，用该属性在其他所有对象的取值次数最多的值(即出现频率最高的值)来补齐该缺失的属性值。

        d. 热卡填充

        对于一个包含空值的对象，热卡填充法在完整数据中找到一个与它最相似的对象，然后用这个相似对象的值来进行填充。

       e. 最近邻法

        先根据欧式距离或相关分析来确定距离具有缺失数据样本最近的K个样本，将这K个值加权平均来估计该样本的缺失数据。

        f. 模预测

        基于完整的数据集，建立预测模型。对于包含空值的对象，将已知属性值代入方程来估计未知属性值，以此估计值来进行填充。

      g. 多重插补

        一般对于小数据会使用这个方法，因为多重插补会反复训练模型，然后评价模型的效果。因此需要大量的时。

        h. 人工确认修改

        重要数据需要联系相关人员进行核对确认。

表结构数据的获取方法 “应用”&“引用”

      

应用：适合数据量小的数据分析场景

引用：数据实时更新，适用于数据量大的数据分析场景