数据分析笔记-认识数据分析（一）

ps:以下为本人学习数据分析总结笔记，内容包含网上搜索及个人补充（感谢各位大佬的资料），主要是记录一下自己的成长历程，以及方便后续复习查看。

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。（百度）

可分为：观测、实验、应用（三个部分）

观测：对事物形成客观量化的认知（报表、图表、仪表盘）
实验：发现规律、验证假设（科学研究、A/B测试）
应用：不断基于数据反馈迭代产品
 

观察：采集数据、储存数据、展示数据
——————————————————————
—采集数据：解析系统日志
—采集数据：埋点获取新数据
—采集数据：通过传感器采集
—采集数据：爬虫（解析网站）
—采集数据：API （API 平台文档、用API 获取数据）

—储存数据：各类类型的数据库-hive、mysql、presto、impala（数据工程师）
—储存数据：连接数据库取数

—展示数据：可视化高效传达信息

测量：设定标准、发现异常、研究关系
——————————————————————

1.及时发现异常
2.找到数据之间的因果关系

数据是客观统一的：有统一的认知才能有共同的目标
—设定标准+发现异常
—研究关系：可视化查看相关性、建模推导相关性四、实验-提出假设，然后验证假设
—观测到差评率飙升、假设由恶劣天气引起、通过天气数据验证假设

所有未经过事实数据验证的想法都是假设

设计A/B测试获取数据

实验流程：实验目标、实验假设、实验打分、实验指标、实验观众、实验版本、开发验收、实验结果、实验分析、后续计划

如何在业务只有少量数据时设计数据实验？（后续补充）
如何在无法同时测试两个版本时比较数据？（后续补充）
 

—基于数据反馈不断迭代产品和业务策略
明确业务的目标，拆解目标，得到标准值
—流程拆解法、二分法、象限拆解法、杜邦分析法、AARRR、pest、rfm、swot、5w1h（拆解只要符合mece法则即可）

—将数据应用于业务
—将数据应用于算法
①为算法设定明确的业务目标
②为算法提供高质量的数据
③判断算法是否真的创造了实际价值
④帮助业务更好地使用算法

基于数据和算法的竞争，无时无刻不在互联网行业上演；基于数据训练算法，让机器自动化地完成工作