不知道从什么时候开始，程序员成为了高薪工作的代表，吸引着无数年轻人。但是每个行业都有“转折点”，对于3-5年的程序员，是什么样的呢？
在一项关于程序员的调查，小谷看到了大家不谋而合的感慨：
1、从事Java开发三年了，目前的职位是高级Java工程师，感觉技术和工资都到了瓶颈，对以后的发展方向有些迷茫。
2、加班时间长，年龄大了，精力严重不够，竞争力远不如年轻程序员了。
3、目前做技术管理，薪资25K，但25K基本是天花板了，不甘心。
所以，进入职场几年的程序员该如何打破天花板？如何安全度过所谓的中年危机呢？
小谷针对上述典型反馈咨询了BAT相关专家，专家建议：技术转型，云计算大数据最合适不过。
1
大数据是什么？
大数据，相信大家都不陌生了，在互联网已经驰骋一段时间了。一切有数据的地方就有大数据。那么大数据究竟是什么呢？
大数据，就是通过获取、存储、分析，从大容量数据中挖掘价值的一种全新的技术架构。
01
大数据之大
大数据通常都拥有海量的数据存储。仅根据2013年的统计，互联网搜索巨头百度已拥有数据量接近EB级别、阿里、腾讯声明自己存储的数据总量都达到了百PB以上。
02
大数据之快
在传统的关系型数据库中，所存储的数据都是结构化的，例如：
但是在现实生活中，信息往往没有严格的结构限制。比如一个电商网站需要记录如下用户行为：
用户张三， 于某某时间在商品搜索栏搜索了“苹果手机”一词，然后进入 XXX 商铺进行浏览，经过与店家沟通，讨价还价，最终以6000元的价格购买了 iPhone 7 “钢琴黑”款式手机一部。
诸如此类的用户行为数据属于非结构化数据，很难用关系型数据库存储。因此诸多No-SQL数据库（例如 Hbase）成为了存储大数据的更好选择。
说到这里，我们要回答一个很多人心里都存在的疑惑——大数据和云计算之间，到底有什么关系？
从技术上，大数据是依赖于云计算的。云计算里面的海量数据存储技术、海量数据管理技术、分布式计算模型等，都是大数据技术的基础。
云计算就像是挖掘机，大数据就是矿山。如果没有云计算，大数据的价值就发挥不出来。
2
大数据应用在哪
01
人工智能
以大数据作为机器学习的训练集，从而训练出拥有一定决策能力的人工智能。典型的代表案例就是谷歌的AlphaGo, 通过大量围棋棋局的学习，最终拥有了打败围棋世界冠军的能力。
02
商业分析
从大量的用户行为数据中挖掘出有价值的商业信息。典型代表是著名社交公司linkedIn，他们通过用户之间的关联关系，绘画出学校、公司、人才之间庞大而复杂的信息网络。
不仅如此，linkedIn还通过大量求职者和招聘方的信息，分析出哪些公司正在迅速扩张，哪些公司正在流失人才，哪些公司之间正在展开人才市场的争夺。这些对于客户公司来说，都是无价之宝。
03
犯罪预测
洛杉矶警察局曾经借助一套原本用于预测地震后余震的大数据模型，把过去80年内的130万个犯罪记录数据输入进去，结果发现其预测出的犯罪高发地点与现实惊人的吻合。后来该预测算法经过改进，已经成为了当地警局重要的参考依据，大大降低了当地的犯罪率。
04
提供个性化服务
大数据不仅适用于公司和政府，也适用于我们每个人，比如从智能手表或智能手环等可穿戴设备中采集的数据，获取价值。Jawbone的智能手环可以分析人们的卡路里消耗、活动量和睡眠质量等。
Jawbone公司已经能够收集长达60年的睡眠数据，从中分析出一些独到的见解反馈给每个用户。从中受益的还有网络平台“寻找真爱”，大多数婚恋网站都使用大数据分析工具和算法为用户匹配最合适的对象。
05
改善医疗保健和公共卫生
大数据分析的能力可以在几分钟内解码整个DNA序列，有助于我们找到新的治疗方法，更好地理解和预测疾病模式。试想一下，当来自所有智能手表等可穿戴设备的数据，都可以应用于数百万人及其各种疾病时，未来的临床试验将不再局限于小样本，而是包括所有人!
06
金融交易
大数据在金融交易领域应用也比较广泛。大多数股票交易都是通过一定的算法模型进行决策的，如今这些算法的输入会考虑来自社交媒体、新闻网络的数据，以便更全面的做出买卖决策。同时根据客户的需求和愿望，这些算法模型也会随着市场的变化而变化。
其实人们日常生活接触到的，比如滴滴/Uber（路径规划）、网易云音乐（音乐推荐、垃圾内容过滤）、余额宝（风控）、网易邮箱（垃圾邮件过滤）、微信（朋友圈广告、语音转文字）、今日头条（内容推荐）、淘宝（根据喜好推荐商品）等，都离不开大数据技术。
3
大数据前景如何？
01
发展前景
1. 数据开发日新月异。分析我国大数据发展的成果和问题，推动国家大数据战略的实施改善数字基础设施，加快数字中国建设。
2. 数据产业链逐步形成。许多企业开始参与大数据产业链，形成了一定的产业规模。
3. 推动大数据企业创新发展，培育新技术、新业态、新模式、新产业。坚持以大数据为突破口，大力推进核心技术创新，坚持以应用为中心，推动大数据在各行业应用。
大数据领域的未来发展仍然很大，需要对大数据进行更深入的研究。
02
市场行情
云计算与大数据成为了市场上最热门的求职领域。这一现象很可能将在可预见时期里长期延续。
在互联网领域的平均薪资排行中，云计算、大数据稳居前三。
在BAT等大厂里，大数据的薪资是最高的。
4
可以胜任的岗位
01
数据平台
Data Platform，构建、维护稳定、安全的大数据平台，按需设计大数据架构，调研选型大数据技术产品、方案，实施部署上线。对于大数据领域涉及到的大多数技术都要有所了解，并精通某一部分，具备分布式系统的知识背景。
对应职位：大数据架构师，数据平台工程师
02
数据采集
Data Collecting，从Web/Sensor/RDBMS等渠道获取数据，为大数据平台提供数据来源，如Apache Nutch是开源的分布式数据采集组件，大家熟知的Python爬虫框架ScraPy等。
对应职位：爬虫工程师，数据采集工程师
03
数据仓库
Data Warehouse，有点类似于传统的数据仓库工作内容：设计数所仓库层级结构、ETL、进行数据建模，但基于的平台不一样，在大数据时代，数据仓库大多基于大数据技术实现，例如Hive就是基于Hadoop的数据仓库。
对应职位：ETL工程师，数据仓库工程师
04
数据处理
Data Processing，完成某些特定需求中的处理或数据清洗，在小团队中是结合在数据仓库中一起做的，以前做ETL或许是利用工具直接配置处理一些过滤项，写代码部分会比较少，如今在大数据平台上做数据处理可以利用更多的代码方式做更多样化的处理，所需技术有Hive、Hadoop、Spark等。
对应职位：Hadoop工程师，Spark工程师
05
数据分析
Data Analysis，基于统计分析方法做数据分析：例如回归分析、方差分析等；大数据分析例如Ad-Hoc交互式分析，SQL on Hadoop的技术有：Hive、Impala、Presto、Spark SQL，支持OLAP的技术有：Kylin；
对应职位：数据分析师
06
数据挖掘
Data Mining，是一个比较宽泛的概念，可以直接理解为从大量数据中发现有用的信息。大数据中的数据挖掘，主要是设计并在大数据平台上实现数据挖掘算法：分类算法、聚类算法、关联分析等。
对应职位：数据挖掘工程师
07
机器学习
Machine Learning，与数据挖掘经常一起讨论，甚至被认为是同一事物。机器学习是一个计算机与统计学交叉的学科，基本目标是学习一个x->y的函数（映射），来做分类或者回归的工作。之所以经常和数据挖掘合在一起讲是因为现在好多数据挖掘的工作是通过机器学习提供的算法工具实现的，例如个性化推荐，是通过机器学习的一些算法分析平台上的各种购买，浏览和收藏日志，得到一个推荐模型，来预测你喜欢的商品。
对应职位：算法工程师，研究员
08
深度学习
Deep Learning，是机器学习里面的一个topic（非常火的Topic），从深度学习的内容来看其本身是神经网络算法的衍生，在图像、语音、自然语言等分类和识别上取得了非常好的效果，大部分的工作是在调参。不知道大家有否发现现在的Google翻译比以前的要准确很多，因为Google在去年底将其Google翻译的核心从原来基于统计的方法换成了基于神经网络的方法；
对应职位：算法工程师，研究员
09
数据可视化
Data Visualization，将分析、挖掘后的高价值数据用比较优美、灵活的方式展现在老板、客户、用户面前，更多的是一些前端的东西，也可能要求有一定的美学知识。结合使用者的喜好，以最恰当的方式呈现数据价值；
对应职位：数据工程师，BI工程师
10
数据应用
Data Application，从以上的每个部分可以衍生出的应用，例如广告精准投放、个性化推荐、用户画像等。
对应职位：数据工程师
5
大数据的优势
大数据的一个基本情况，从上面来讲，都很清晰了哈。那这一块，小谷想给大家分享游戏大数据的优势，对于程序员来讲，选择他有哪些优势呢？
01
不愁找工作
云计算大数据人才对企业的各种决策提供了强大的数据支撑，对企业非常重大。几乎所有的互联网巨头公司都在花重金招聘云计算大数据人才。
02
薪资会更高
通过上面市场行情的分析，也能看到，大数据的薪资是整个互联网的领头羊。
03
年龄不担心
在大数据行业，从业越久其经验也会越得到肯定，这也是大多数资深IT人士猜测大数据或将带来50、60岁的“老”专家的原因。
从事大数据，不用担心35岁职场危机啦~
关于Python技术储备
Python学习路线汇总
Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
Python必备开发工具
精品Python学习书籍
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
温馨提示：篇幅有限，已打包文件夹，获取方式在：文末
Python学习视频600合集
观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
实战案例
光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
100道Python练习题
检查学习结果。
面试刷题
2021最新最全Python资料，需要的朋友自行领取！！！
