栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > 资讯 > 高等教育 > 院校资讯

走进大数据之大数据行业与技术趋势,大数据行业与技术趋势

走进大数据之大数据行业与技术趋势,大数据行业与技术趋势

"来源:|菜根老谭ID: cglt _ tan "

序

大家好,我是明哥!

正所谓“抬头看天,低头走路”,大数据从业者不仅要基于目前的技术栈做出高效易用的大数据产品,更要放眼Star 空顺应大数据发展趋势,做出技术上具有前瞻性,能够适应未来变化的大数据产品。

前期作者发表了一篇博文,题为《从Gartner历年炒作周期看大数据产业发展历程及趋势》。在那篇博文中,作者梳理了下一年Gartner炒作周期中关于大数据的部分,并据此总结了大数据产业的发展历程和趋势。这篇博文可以看作是从面对面和自上而下的角度推断出的大数据发展趋势。博文链接如下:

从历年Gartner炒作周期看大数据产业发展历史和趋势

在这篇博文中,作者将凭借自己十四年的IT从业经验和六年的大数据行业从业经验,从自己的感受和技术角度,总结大数据行业的发展趋势,算是自下而上的一个呼应。

陈述之下,笔者自身的能力和经验有限,所以这里总结的行业趋势只是窥一斑而见全豹,远谈不上大而全。另一方面,我觉得大家看完能有所感悟也是可以的。

以下是正文。

趋势:大数据和云计算进一步深度融合,大数据拥抱云计算,走向云的原始生化。

关于这个趋势,笔者前期发表了一篇博文《大数据与云计算深度融合的趋势是什么?我对这个趋势做了自己的解读,这里再简单描述一下。博文链接如下:

大数据和云计算深度融合的趋势是什么?

云原生的概念本质上是一套“利用云计算技术为用户降低成本、提高效率”的最佳实践和方法论。大数据拥抱云计算,走向云生化,体现在以下四个方面:

一是应用端的大数据平台主动上云:使用大数据技术的业务应用构建者不再自建数据中心,而是将大数据平台搬到云端。他们有的在云厂商的IaaS层搭建自己的大数据平台,有的直接使用云厂商提供的PaaS层的大数据相关产品,有的甚至直接使用云厂商推出的SaaS层的大数据相关产品。而且在上云的过程中,大家都非常重视混合云和多云部署,避免厂商锁定;;第二,云计算厂商不断推出各种托管在云上的基于大数据的服务,吸引更多的业务方上云:为了提高自己的市场竞争力,进一步巩固和拓宽自己的市场地位,各大云厂商都在积极推出各种托管大数据相关产品,包括s3/oss、emr/e-mapreduce、aws redshift、阿里云maxcompute,以及各种云数据库,这些都是以云上无服务器的形式。第三,传统大数据厂商已经转向依靠云来提供自己的产品和服务。例如,elastic长期以来一直在提供基于云的elk技术堆栈。例如,spark背后的商业公司databricks一直在基于云为客户提供服务。比如cloudera就在不断探索改变商业模式的方法。下图是flink/spark与kubernetes的深度融合:大数据云和计算的深度融合是大势所趋,主要体现在以上四个方面。需要强调的是,这四个方面相辅相成,相互促进。比如应用端大数据平台对云的需求,促使云计算厂商推出更好的托管大数据增值服务;云计算厂商推出的更多更好的大数据增值服务,反过来也促使更多的应用在大数据平台上上云;比如基础设施上云的大趋势,促使特定的大数据组件将自己的架构调整到云;大数据的具体组成部分——云源生化的结构调整,反过来也促使云计算厂商和大数据厂商推出更多更好的基于云基础设施的大数据服务。趋势二:大数据与数据库融合的趋势。

大数据与数据库融合的趋势是大数据与数据库的边界模糊:比如各种带有大数据基因的NoSql数据库,如MongoDB、es、Hbase等,也是数据库生态的一部分;greenPlum、Vertica等Mpp数据库是大数据生态系统的一部分。比如新的NewSql数据库TiDB、CockroachDB、OceanBase,跨越了数据库生态和大数据生态。大数据与数据库融合的趋势还体现在,大数据组件本身在技术上借鉴和参考了很多传统的数据库概念和技术,使得大数据组件越来越像一个存储与计算分离的数据库:比如各种大数据处理引擎提供对sql语法的支持:hive/spark/flink/presto SQL;比如各种大数据处理引擎在分析优化sql时经常使用的框架方解石/antlr4,在实现细节中提到了数据库的实现;比如大数据参考数据库中元数据的管理,抽象出了目录的概念,每个大数据处理引擎,比如spark/flink,都有自己的目录实现。比如大数据处理引擎的参考数据库支持事务酸的特性,参考数据库的mvcc机制支持并发读写和多版本控制,包括hive acid事务表和数据湖框架delta lake/胡迪/iceberg等。大数据与数据库融合的趋势还体现在数据库不断进化以适应大数据场景:从技术架构上,数据库经历了从早期的关系数据库sql,到大数据初生时代的各类Nosql,再到现在的各类NewSql,也经历了从单机到读写分离再到集群部署的趋势;最后需要说明的是,由于大数据和数据库的融合程度越来越高,传统的依靠数据库的数据仓库和依靠大数据的数据湖之间的界限越来越模糊,越来越融合。一些厂商专门引入了一个新的术语来描述这种新的架构,得到了业界的广泛认可和支持。这个名词就是湖仓一体化的概念,业内常说的,即湖宅。

趋势:大数据更倾向于存储和计算分离的架构。

存储和计算是物理资源的不同纬度,因此存储和计算分离的架构更加灵活,便于独立扩展和收缩存储和计算,成本更好,性价比更高。

大数据更倾向于存储和计算分离的架构,体现在大数据更丰富的生态中。不同的框架解决不同的问题:计算层的spark/flink/presto,存储层的hdfs/ozone/s3,数据管理层的元数据管理的hive catalog,文件格式的orc/parquet。表格格式包括胡迪/冰山/三角洲湖,资源管理包括yarn/mesos/k8s等。大数据更倾向于存储与计算分离的架构,这也体现在一些传统存储引擎正在进一步细化架构,以支持存储与计算的分离:例如NewSQL数据库TidB在底层分为计算层TiDB/TiSpark、存储层TiKV/t flash和元数据层PD;比如云原生消息系统pulsa在底层分为计算层broker和存储层bookkeeper比如hdfs的进化版Ozone,底层支持对象存储;比如消息系统Kafka也通过分层存储支持本地存储和远程云对象存储;

融合云大数据的无限存储更倾向于存储和计算分离的架构,这也体现在整个大数据集群在架构上更灵活,更适合存储和计算的分离。比如星环大数据平台tdh底层的tos云操作系统,基于k8s和docker比如Cloudear的大数据平台dcp的公有云版本cdp公有云,私有云版本cdp私有云,都是集群模式+容器模式。在集群模式下,存储依赖于集群,而在容器模式下,计算依赖于容器,存储可以通过计算解耦独立扩展和收缩。实现跨云和多云环境下的容器管理;)!

趋势:大数据偏好对象存储。

为了进一步适应云生化的大方向,大数据在存储上更倾向于对象存储而不是文件系统。

对象存储的性能不如文件系统,尤其是文件和目录的重命名操作,以及目录的列表操作。但是,与文件系统相比,对象存储在成本和可扩展性方面具有优势,因此云供应商更喜欢对象存储。

当然,大数据适合对象存储,其架构和技术也在不断发展。比如大数据的数据仓库框架hive,它的可扩展性一直被诟病,而其可扩展性问题的一个原因就是它只管理了目录粒度的元数据,而没有管理文件粒度的元数据,即hive在管理表和分区的元数据时,只记录了表和分区对应的目录。至于目录底层的文件,是计算时通过列表扫描获得的。因为list在对象存储系统中是一个开销很大的操作,所以在停靠对象存储的时候用hive来处理显然是不合适的。其实更适合云原生和对象存储的框架,比如Iceberg/Delta lake等。,都达到了元数据中文件而不是目录的粒度。

对于文件系统和对象存储的详细对比,感兴趣的小伙伴可以自行google一下,这里就不赘述了。

趋势:大数据和机器学习/人工智能日益融合。

大数据与机器学习/人工智能融合的趋势体现在大数据需要AI,AI需要大数据。

一方面,大数据需要AI:大数据的元数据管理需要AI:当企业面对大量的数据和种类繁多的数据资产时,如何有效地管理和利用这些数据挖掘更大的商业价值,尤其需要数据治理和元数据管理。元数据的范畴和概念在不断扩展。元数据不再仅仅是数据管理者事先提供的静态元数据,还包括动态发现的可以通过机器学习推导出来的元数据。Gartner倡导Data Fabric数据经纬度的概念,特别强调元数据管理和增强型数据管理,即主动使用机器学习驱动的元数据,快速提供来自不同数据源的数据,实现数据管理自动化。图计算和知识图,“图形成了数据结构和知识图的基础”,将更多地用于帮助我们发现数据之间的潜在关系。大数据把我们从BI时代带到了AI时代。对数据的分析不再是BI时代简单的统计分析和各种报表的提供,而是AI时代强调综合运用各种算法做增强分析,提供数据故事等商业洞察;在物联网的各种边缘设备上,edge也主张通过边缘计算嵌入各种ML和AI模型,推动基于AI的计算更接近数据生成,从而提供更高的数据时效性,减少数据传输,挖掘更多的应用场景,等等。另一方面,AI也需要大数据:从事AI相关工作的小伙伴都知道,AI有一个三要素的概念,即:数据、算法和计算能力,其中数据的质量和数量决定了模型的上限;一个好的算法,足够的计算能力,可以把模型的效果推近这个上限。作为AI的原材料,三要素中的数据与大数据密切相关,正是大数系统提供了AI的原材料。目前算法专业学生通常从大数据系统中提取数据,存储在本地文件系统中,然后训练模型;不过已经有一些大数据框架了,比如spark mllib,考拉,flink ml,利用大数据系统中的数据直接进行模型训练和模型部署应用。我们还可以看到,alluxio客户端通过fuse api接口,直接以本地文件的形式提供来自大数据平台的数据用于算法模型训练,起到了数据桥梁的作用,减少了中间数据导出的繁琐过程。三要素之间的计算能力也可以由大数据的集群资源管理框架提供。比如yarn在管理cpu和mem资源的基础上,扩展了对管理gpu资源的支持;三要素中的算法也直接提供了很多大数据框架中常用算法的实现,比如spark mllib,flink ml等等。趋势六:大数据越来越重视数据安全。

在我看来,数据安全问题在现阶段变得越来越突出,原因如下:

一方面,企业本身还面临着各种传统的内外部数据威胁,这已经不是什么新鲜事了,这里就不赘述了。另一方面,国家出台了各种需要遵守的政策法规。不重视数据合规的企业将面临天价政府罚款。还有一点,在云环境下,安全问题变得更加突出。以前大数据运行在数据中心的内网,很少暴露威胁。目前,随着大数据上云的趋势,大量云计算厂商推出了自己托管在云上的大数据服务。云上的应用越来越多,攻击尝试越来越多,发现和暴露的安全漏洞越来越多。在处理数据安全问题时,认证、授权、审计等传统3A概念依然适用,加密算法依然使用。具体的支撑框架有Kerberos、ldap、knox、ranger和sentry等。

趋势七:大数据越来越重视数据治理。

关于数据治理,如上所述,当企业面对大量的数据和种类繁多的数据资产时,如何有效地管理和利用这些数据挖掘更大的商业价值,对于数据治理和元数据管理尤为必要。这时,元数据的范畴和概念有扩大的趋势。元数据不再只是数据管理者事先提供的静态元数据,而是可以通过机器学习推导出来的动态元数据。

在数据治理方面,Gartner倡导数据结构(Data Fabric)的概念,强调元数据管理和增强的数据管理,即主动使用机器学习驱动的元数据快速提供来自不同数据源的数据,并实现数据管理的自动化。图计算和知识图,“图形成了数据结构和知识图的基础”,将更多地用于帮助我们发现数据之间的潜在关系。

数据治理的一些相关概念,包括元数据、主数据、数据血缘等。支撑框架包括atlas、ranger等。

趋势八:大数据越来越注重数据的时效性。

大数据强调数据是热的,数据的价值是有时效性的,会随着时间而降低。这是大家的共识,也是实时计算和准实时计算越来越被业界重视的原因。我没有太多要补充的,但我想指出,实时计算需要达到什么水平,是业务需求、现有技术能力、运维复杂度之间的折中。不一定要追求毫秒级细微的实时,很多时候是秒级、分钟级甚至小时级。

这个行业相关的概念包括流程和批量集成,仔细分析包括存储引擎层面的流程和批量集成,计算框架层面的流程和批量集成,业务代码层面的流程和批量集成。

在存储引擎层面,离线批处理场景一般使用文件系统结合数据库;准实时流场景通常使用与数据库相结合的消息队列。但是随着数据仓库概念的兴起,特别是随着delta lake/胡迪/iceberg的兴起和hive real-time的进步,使用这些框架进行流式和批量存储的情况会越来越多。随着kafka支持分层存储,将会有越来越多的情况使用kafka与对象存储相结合,并为流批量存储配置合适的保留期。

在计算框架层面,flink和spark都支持流和批的融合,即同一个计算框架既支持用户的流处理应用,也支持用户的批应用。

在业务代码级别,只需配置不同的参数,而无需在代码级别进行任何更改,就可以将同一组业务代码作为流处理或批处理应用程序提交运行。目前看来,FLINK SQL走得最远,做得最好。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/news/1702362.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号