栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

大数据计算引擎击穿万古长夜

大数据计算引擎击穿万古长夜

构成世界的3个要素是【物质】、【能量】和【信息】
而【信息】要素是到20世纪才正真爆发出来,即:信息时代
进入“信息时代”,信息所占比重越来越大,一切都变的“智慧”起来。

一些新的名词开始出现:无纸化、信息高速公路、虚拟世界等
全世界每时每刻都在产生信息,传递信息,存储信息和消费信息,信息呈指数级开始了【爆炸】

信息本质上就是【数据】,信息爆炸本质上就是数据爆炸,随着数据的爆炸式井喷,人们开始探索“数据治理”的技术,即:如何更好的管理数据

数据的池子——任意遨游,但恨天太低
以mysql、oracle为代表的关系型数据库,本质上就是一个【数据的池子】,无论他们进行了如何“不可思意”的迭代升级,他们能管理的数据规模本质上还是没有跳脱池子的范围;数据量与日剧增,一个池子装不下,就在开一个池子装,如此反复,如万古长夜…

数据的海洋——天高海阔,但望洋兴叹:
每一个“数据库”就是一个数据的池子,不管他是关系型,还是非关系型(非关系本质上只是一个容量更大,取水更快的池子),数据的池子是一个个“孤岛”,无法全部互通也无法同时操作所有的池子。

有没有什么办法,可以将所有的池子汇聚起来(至少是:想汇聚多少就汇聚多少),将池子聚成湖泊,将湖泊聚成海洋后还能快速的从亿万万份水中,舀出我想要的那一瓢水?

创世闪电,开天辟地:
谷歌三架马车【GFS、MapReduce、BigTable】的出现让“畅游数据海洋”成为可能。
GFS解决海量数据的存储问题
MapReduce解决海量数据的计算问题
BigTable解决海量数据的查询问题

用一张图直观的展示这样一个开天辟地的过程:

正式谷歌三架马车的出现,击穿了万古长夜,开启了基于大数据的智能时代。

随后海的核心也经历了一轮轮的技术迭代:
谷歌三驾马车 -> hadoop -> spark
即:大数据技术生态圈的核心,到目前共经历了3轮更替

讲了那么多,数据的海洋聚焦到现实工程中,到底是个啥东西呢???
其实就是【计算引擎】!!!
而引擎的内核其实就是大数据技术生态圈的核心,即:谷歌三驾马车 、hadoop 、spark
图解:

说明:
上图共用两个应用,一个【计算引擎】,一个【对接应用】,而【计算引擎】就是数据的海洋;两个应用通过中间件——ES搜索引擎,关联在一起构成一个逻辑整体,从而对外提供最终价值!!!

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/722460.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号