栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

数据分析的流程概述

数据分析的流程概述

数据分析的工作流程大约可分为9个阶段,其中前六个阶段是必经阶段,后3个阶段为可选择阶段。

流程为:

提出问题——获取数据——整理数据——数据探索——得出结论——展示结果——预测模型——模型评估——部署

各个阶段的具体内容:

1.确定问题阶段

   明确需要用数据解决什么,一般结合具体业务提出问题,将大问题分解为可以用数据解决的小问题

2.获取数据阶段

根据要解决的问题收集数据,可以通过自有数据库、公开数据集、爬虫等获取数据。

3.整理数据阶段

整理数据又包括数据评估、数据清洗和规范化。

数据评估主要是检查数据中的问题,包括无效数据、值缺失、数据重复、异常值以及格式等问题。

数据清洗和规范化就是调整数据,解决数据评估时发现的问题。

4.数据探索阶段

解决确定问题时提出的具体问题,是数据分析中最重要、最核心的部分。

可以通过创建直方图、饼图、折线图来探索数据的分布情况、不同属性之间的相关性;可以通过一些统计数字,如最大最小值、平均数、中位数标准差等,获取对数据的整体认识。

5.得出结论阶段

借助描述统计学、推断统计学和机器学习得出各种结论。

6.展示结果阶段

将得出的结果用报告、PPT、方案、出版物等形式整合出来,对相关人员进行交流和展示。

7.预测模型阶段

创建合适的统计模型来预测一个结果的概率。

8.模型评估阶段

通过测试来验证模型是否有效。

9.部署阶段

将预测模型以单独的应用形式进行部署。

以上就是简单的数据模型的概述

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/711859.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号