- 数据分析
- 数据分析概述
- 数据分析师的职责和技能栈
- 数据分析的流程
- 总结
近年来我们经常能听到数据分析，机器学习，人工智能，数据挖掘等词，这些都离不开数据的支持，随着而来的是对数据处理方向人才的需求，所有数据分析师也被多次提及。也有很多人想从事这个行业，那么什么是数据分析师呢？我们需要掌握什么知识技能才能胜任这个职位？
数据分析概述当今世界对信息技术的依赖程度在不断加深，每天都会有⼤量的数据产⽣，我们经常会感到数据越来越多，但是要从中发现有价值的信息却越来越难。这⾥所说的信息，可以理解为对数据集处理之后的结果，是从数据集中提炼出的可⽤于其他场合的结论性的东⻄，⽽从原始数据中抽取出有价值的信息的这个过程我们就称之为数据分析，它是数据科学⼯作的⼀部分。
数据分析师的职责和技能栈我们通常将从事数据分析、数据科学和数据相关产品的岗位都统称为数据分析岗位，但是根据⼯作性质的不同，⼜可以分为数据分析⽅向，数据挖掘⽅向，数据产品⽅向和数据工程方向，我们通常所说的数据分析师主要是指业务数据分析师，很多数据分析师的职业⽣涯都是从这个岗位开始的，⽽且这个岗位也是招聘数量最⼤的岗位。业务数据分析师在公司通常不属于研发部⻔⽽属于运营部⻔，所以这个岗位也称为数据运营或商业分析。
通常招聘信息对这个岗位的描述是：
-
负责各部⻔相关的报表。
-
建⽴和优化指标体系。
-
监控数据波动和异常，找出问题。
-
优化和驱动业务，推动数字化运营。
-
找出潜在的市场和产品的上升空间。
根据上⾯的描述，作为业务数据分析师，我们的⼯作不是给领导⼀个简单浅显的结论，⽽是结合公司的业务，
完成监控数据、揪出异常、找到原因、探索趋势的⼯作。
所以作为数据分析师，不管是⽤Python语⾔、Excel、SPSS或其他的商业智能⼯具，⼯具只是达成⽬标的⼿段，数据思维是核⼼技能，⽽从实际业务问题出发到最终发现数据中的商业价值是终极⽬标。
数据分析师在很多公司只是⼀个基础岗位，精于业务的数据分析师可以向数据分析经理或数据运营总监等管理岗位发展；对于熟悉机器学习算法的数据分析师来说，可以向数据挖掘⼯程师或算法专家⽅向发展，⽽这些岗位除了需要相应的数学和统计学知识，在编程能⼒⽅⾯也⽐数据分析师有更⾼的要求，可能还需要有⼤数据存储和处理的相关经验；作为数据产品经理，除了传统产品经理的技能栈之外，也需要较强的技术能⼒。
例如要了解常⽤的推荐算法、机器学习模型，能够为算法的改进提供依据，能够制定相关埋点的规范和⼝径，虽然不需要精通各种算法，但是要站在产品的⻆度去考虑数据模型、指标、算法等的落地；数据⼯程师是⼀个偏技术的岗位，基本上的成⻓道路都是从SQL开始，逐步向Hadoop⽣态圈迁移。
以下是我总结的数据分析师的技能栈，仅供参考。
- 计算机科学（数据分析⼯具、编程语⾔、数据库、……
- .数学和统计学（数据思维、统计思维）
- ⼈⼯智能（机器学习（数据挖掘）算法）
- 业务理解能⼒（沟通、表达、经验）
- 总结和表述能⼒（商业PPT、⽂字总结）
我们提到数分析这个词很多时候可能指的都是狭义的数据分析，这类数据分析主要⽬标就是⽣成可视化报表并通过这些报表来洞察业务中的问题。⼴义的数据分析还包含了数据挖掘的部分，不仅要通过数据实现对业务的监控和分析，还要利⽤机器学习算法，找出隐藏在数据背后的知识，并利⽤这些知识为将来的决策提供⽀撑。简单的说，一个完整的数据分析应该包括基本的数据分析和深⼊的数据挖掘两个部分。
基本的数据分析⼯作⼀般包含以下⼏个⽅⾯的内容，当然因为⾏业和⼯作内容的不同会略有差异。
-
确定⽬标（输⼊）：理解业务，确定指标⼝径
-
获取数据：数据库、电⼦表格、三⽅接⼝、⽹络爬⾍、开放数据集、……
-
清洗数据：缺失值处理、异常值处理、格式化处理、数据变换、归⼀化、离散化、……
-
探索数据：运算、统计、分组、聚合、可视化（趋势、变化、分布等）、……
-
数据报告（输出）：数据发布，⼯作成果总结汇报
-
分析洞察（后续）：解释数据变化、⽀持数据决策、……
深⼊的数据挖掘⼯作应该包含⼀下⼏个⽅⾯的内容，当然因为⾏业和⼯作内容的不同会略有差异。
-
确定⽬标（输⼊）：理解业务，明确挖掘⽬标
-
数据准备：数据采集、数据描述、数据探索、质量判定、……
-
数据加⼯：提取数据、清洗数据、数据变换、归⼀化、离散化、特殊编码、降维、特征选择、……
-
数据建模：模型⽐较、模型选择、算法应⽤、……
-
模型评估：交叉检验、参数调优、结果评价、……
-
模型部署（输出）：模型落地，业务改进，运营监控、报告撰写
数据分析师职责和技能
主要发展方向：
1.数据分析方向（BI）：偏业务，不需要很强的编程能力，但是一定要懂得业务。
2.数据挖掘方向（AI)：对编程能力、SQL/HQL能力有较高要求，懂得数据挖掘算法，理解算法原理，有些公司对学历也有要求~具体视情况而定。
精于业务的数据分析师可以向数据分析经理或数据运营总监等管理岗位发展；对于熟悉机器学习算法的数据分析师来说，可以向数据挖掘⼯程师或算法专家⽅向发展
业务数据分析师：
主要工作是结合公司的业务，完成监控数据、揪出异常、找到原因、探索趋势的⼯作。
所以作为数据分析师，不管是⽤Python语⾔、Excel、SPSS或其他的商业智能⼯具，⼯具只是达成⽬标的⼿段，数据思维是核⼼技能，⽽从实际业务问题出发到最终发现数据中的商业价值是终极⽬标。
业务数据分析师进化过程
初级：数据汇总报告，懂Excel和常规数据运算。
中级：懂一定的统计知识，熟练使用Excel生成数据透视。
中上级：能使用工具制作数据看板，
高级：能生成数据看板，从数据中找出机会点，有业务洞察能力，为公司给出意见。
大师：可以通过数据挖掘，建模预测数据未来趋势，给出相应部署建议。
大佬：可以通过国家出台新规定、国情、地方政府规定、时事先行给准确预判。
