说说2021年又要过去了,疫情也随之伴随了一年,也该给自己总结下今年的收获与得失了;
其实本来想在1024节日写完这篇总结文章的,但确实有点忙,没赶得上节日,很遗憾....
有粉丝在微信上问我,最近怎么没更新大数据博客,额,确实托更了两个月,很抱歉,跳个槽转了个方向,所以入职这半个月在学习公司新业务。
我的2021年应该分为两个阶段吧,很明显年初到10月算第一阶段,10月以后算第二阶段,先来讲讲第一阶段的收获吧。
某行业龙头企业:
第一阶段主要精力在搭建企业级实时数仓上面,离线功能较少(仅有DTS,NLP两项),这个阶段其实我做的不太开心,因为企业性质是传统行业的电商部门,虽然管理方面还算ok,但是在技术层面其实已经落后互联网很多了,当初为什么选择这家行业龙头企业,主要是考虑到当时他们企业转型,我可以从0到1的 all in实时数仓,没错,独自一人从0到1。
也许很多人都会觉得一个人做从0到1的活就是个坑,我当时想的是如果想搞好Flink这块,第一次必须要造火箭,如果火箭没造过谈何拧螺丝,其实从我离职开始招人顶替我时,我也面了很多一线,二线大厂的朋友,发现一个问题,他们 既想学好Flink,但缺少底层经验,甚至有的人还停留在SQL层面。我记得当时面了一个科大讯飞的朋友,感觉对大数据的技术栈了解挺不错的,个人平时对也有过底层深究。
得:
- 首先肯定是对Flink的掌握,对底层源代码,设计架构的掌握,都得到了巨大的提升。
- 再者对目前OLAP分析数据库的掌握,因为是从0到1,在技术选型架构设计上都是自己,当时也对市场上比较火的数据库做过一些调研,性能测试等。
- 对Coding的功底上也随着工作经验的丰富得到了一些提高。
失:
- OLAP数据库我们最终选择了阿里云的ADB for Postgresql,最初我是反对用这个数据库的,但是赶上了公司IT资产上云,导致不得不选用阿里云产品,很遗憾。
- 对刚需转型大数据的公司,起步就是实时数仓,这也是很危险的行为,如果再给我一次机会,我可能反馈指标全部实时化,但是没办法,首先leader和同事都是DBA,他们的观念里,数据在同一个数据库,查询本身就是实时,所以他们想要做成全实时的产品,在沟通上说服不了他们,很遗憾。
在第一阶段我就意识到做计算平台的重要性,包括元数据系统,调度系统,查询系统,数据质量系统等都是数据平台一部分虽然现在很多公司也都在做,但我个人在计算平台领域还没达到架构领域,所以我离开了,我转型了,哥去搞平台了,哥去CRUD去了。
某行业Top5企业:
这家公司刚入职半个月,确实如当初Hr和我说的一样,这是我想要的公司,身边同事非常Nice,实力很强,感觉有这些人做搭档对于我自身的提升是非常大的。
得:
- 选择了一条感觉是正确的技术发展路线,并为之努力
- 身边的同事很友好,技术赞,可以学到很多
- 技术氛围浓厚,专注底层中间件开发
失:
- 其实今年出去面试,面了四五家都给offer了,很意外也很惊喜,主要失望来源是最后一家拿了支付宝的offer,流程走了一个月(阿里的流程走的是真滴慢!!!!),最后offer都发了,因为那边流程沟通原因出点问题,没去成。后来杭州总部的HR也有再找我想不想去,最后还是被我拒绝了哈哈哈哈,首先是我都入职了目前公司,就没必要再走了,而且也是我喜欢的公司,二是阿里的HR真的太傲气了,沟通成本太高,我直接被当时对接的HR整无语了。
- 目前新公司还没有上Flink,但已经打算用Flink结合业务场景做一些落地Demo了,但是不是我负责的,希望以后有机会可以继续使用Flink吧
希望大家在IT这条路上越走越远,越走越宽,这阶段把公司业务熟悉完会继续更新的。



