栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

对数据分析的理解和认识(数据分析基本概念)

对数据分析的理解和认识(数据分析基本概念)

笔记来自哔哩哔哩up主戴师兄数分视频~

1、什么是数据分析

观测:对事物形成客观量化的认知(获取数据并制作报表、图表、仪表盘)

实验:通过不断的提出假设、实践假设,并且基于观测的数据去验证这些假设,目的是准确得知哪些方法可以有效地朝着人为设定的方向去发展

应用:在实际的生产环境下,使用实验已经得到的技术和方法,并且基于数据去不断的迭代和反馈。目的是用实验得到的新方法有效地去提升生产力,真正应用到生产中去创造价值。

2、实现三大步骤的各种方法

观测:
1)采集数据:
解析系统日志、埋点获取新数据、通过传感器采集(天气、手环)、爬虫(解析网站、抓取数据)、API(API平台文档—>用API获取数据)
2)存储数据:各种类型的数据库:hive、MySQL、PostgreSQL、SQLServer、Presto、Impala……(数据工程师)
3)展示数据:可视化高效传达信息
分析数据的目的:及时发现异常、找到数据之间的因果关系
因为数据是客观统一的,有统一的认知才能有共同的目标
4)设定标准+发现异常:要知道怎样数据是正常的,才能发现异常
5)研究关系:可视化查看相关性、建模推导相关性

实验:
提出假设,然后验证假设,将未知变为已知,找到客观规律和解决问题的最好方法
所有未经事实数据验证的想法都是假设
设计A/B测试获取数据:明确实验目标、确定核心指标、合理提出假设、预估样本数量、预估实验时长、设计开发实验、检查实验数据,设定结束标准、确定优化策略等。
如何在业务只有少量数据时设计数据实验?
如何在无法同时测试两个版本时比较数据?

应用:
如何应用数据创造价值:
①基于数据反馈不断迭代产品和业务策略、②基于数据训练算法让机器自动化完成工作
拆解目标方法:流程拆解法、二分法、象限拆解法、杜邦分析法、AARRR、PEST、RFM、SWOT、5W1H(拆解只要符合MECE法则即可)

  

 小结:

为什么要分析数据:及时发现异常、找到数据之间的因果关系

有哪些分析框架和方法:杜邦分析法、AARRR、PEST、RFM等

数据分析如何实现:观测、实验、应用

如何进行A/B测试:明确实验目标、确定核心指标、合理提出假设、预估样本数量、预估实验时长、设计开发实验、检查实验数据,设定结束标准、确定优化策略等

如何基于数据创造价值:基于数据不断迭代产品和业务策略,基于数据训练算法让机器自动化完成工作

如何基于数据训练算法:明确的业务目标—>数据—>判断算法是否真的创造了实际价值—>帮助业务更好的使用算法

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/771750.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号