大数据开发、数据仓库、数据安全、数据分析、数据挖掘等。所有这些都是围绕大数据的商业价值出现的。大数据开发主要分为大数据平台开发、大数据应用开发和大数据分析。不同的岗位需要面对不同的工作职责,拥有不同的知识结构。
大数据开发是做什么的?
负责公司数据平台和仓库模型的设计和开发;规范底层数据存储,结构化查询逻辑,方便快捷获取数据;支持实时数据报表、离线数据报表、交互式数据分析等数据应用;预研大数据相关的前沿技术。
大数据开发的基本技能:目前从事大数据应用开发的语言有Java、Python、Scala、R等。你需要熟悉Hadoop、HBbase、hive、spark、Flink、es、Presto、Flume、Kafka生态的原理和使用方法,掌握数据开发和数据挖掘的各种流程。
Java有比较完善的生态,Hadoop平台本身也是用Java语言开发的,所以Java语言往往是比较常见的选择。在学习Java语言的过程中,可以同步接触Hadoop平台,掌握Hadoop平台的整体结构,通过Java完成Hadoop平台的一些案例实验,进而逐步掌握Hadoop平台下的Java应用开发。
大数据分析通常采用两种方法:统计分析和机器学习。Python和R语言是统计方法的好选择,而Python语言常用于机器学习。同时需要学习一系列算法的实现过程,包括Knn、决策树、支持向量机、朴素贝叶斯等等。所以从事大数据分析需要一定的数学基础。
Hotodo导学


