栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

2021-10-09数据分析--系统认识数据分析

2021-10-09数据分析--系统认识数据分析

一、什么是数据分析

观测、实验、应用

二、重新认识数据分析

观测:对数据形成客观量化的认知(报表、图表、仪表盘)
实验:发现规律、验证假设(科学研究、A/B测试)
应用:不断基于数据反馈迭代产品

三、观测

**观察:**采集数据、储存数据、展示数据
采集数据
1.解析系统日志
2.埋点获取新数据
3.通过传感器采集
4.爬虫(解析网站)
5.API(平台API文档,用API获取数据)
储存数据
各类数据库hive、myslq、presto、impala(数据工程师)、连接数据库取数
展示数据:可视化高效传达信息
**测量:**设定标准、发现异常、研究关系

四、分析数据的目的是什么?

1、及时发现异常
2、找到数据之间的因果关系
数据是客观统一的:有统一的认知才能有共同的目标
设定标准+发现异常
研究关系:可视化查看相关性、建模推导相关性
实验提出假设,然后验证假设

所有未经过事实数据验证的想法都是假设
设计A/B测试获取数据
如何在业务只有少量数据时设计数据实验?
如何在无法同时测试两个版本时比较数据?

五、如何应用数据价值

基于数据反馈不断迭代产品和业务策略
明确业务的目标,拆解目标,得到标准值
将数据应用于业务、算法
(1)为算法设定明确的业务目标
(2)为算法提供高质量的数据
(3)判断算法是否真的创造了实际价值
(4)帮助业务更好的使用算法

基于数据和算法的竞争,无时无刻不在互联网行业上演
基于数据训练算法,让机器自动化的完成工作

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/307875.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号