栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > 资讯 > 高等教育 > 院校资讯

大数据独角兽Databricks凭什么估值280亿美元?

大数据独角兽Databricks凭什么估值280亿美元?

2021年是Hadoop的第15年,也是大数据开源项目Spark的第12年。已经出现了很多基于Hadoop的大数据独角兽,比如Hortonworks、Cloudera等。然而,这些基于Hadoop的大数据独角兽并没有达到业界的预期,多家上市公司业绩大幅下滑。2018年,Hortonworks和Cloudera宣布合并,抱团取暖。

2021年2月,由Apache Spark初始成员创办的大数据创业公司Databricks宣布完成10亿美元G轮融资,公司估值280亿美元。2019年10月,Databricks完成F轮融资时,估值为62亿美元。一年后,公司估值飙升近5倍。Databricks的G轮投资机构中有AWS、Salesforce的风险投资基金Salesforce Ventures、谷歌母公司的风险投资公司Capital G,以及参与更早投资的微软等众多投资者。

Databricks受追捧与其产品和技术密切相关。从根本上说,Spark和Hadoop是相互依存的——Hadoop是一种分布式的大数据存储技术,而Spark是一种处理存储的分布式大数据的技术,或者说是大数据处理的统一分析引擎。Spark开源技术栈提供了Spark SQL结构化数据处理、Spark流实时计算、MLlib机器学习库、GraphX图形计算等组件,其中Spark SQL可以直接从Hive、HBase等外部数据源查询数据,MLlib是知名的开源机器学习库,GraphX是知名的分布式图形处理框架。

简单理解,Hadoop无法挖掘和发挥大数据的价值,而Spark是一个统一的分析引擎,拥有完整的技术生态。同时,Spark支持基于Hadoop Yarn、Apache Mesos和Kubernetes的集群管理器,这些集群管理器是时下最流行的,可以运行在广泛的计算平台上,也可以部署在企业内部或公共云上。简单,Spark解决了Hadoop生态割裂的问题,通过统一的数据分析平台,让大数据分析变得简单。Apache Spark官网对Spark的介绍是“光速的统一分析引擎”。

Databricks诞生于2013年,创始人来自Apache Spark创始团队,包括来自加州大学伯克利分校的专家学者。基于Apache Spark开源技术,Databricks创建了一系列蓬勃发展的开源项目,包括Delta Lake、MLflow、考拉等。到2020年底,Databricks已经建立了一家拥有1500多名员工的公司,为数千个数据团队提供数据分析、数据工程、数据科学和人工智能方面的协助。

2020年初,Databricks发表了一篇博文,分析了一个一直被观察到的趋势:走向湖屋建筑。该架构基于开放式架构,将构建在低成本云对象存储上的数据湖的灵活性与ACID事务、数据模式执行和数据仓库相关的性能相结合。2019年,Databricks推出Delta Lake,Lakehouse的关键开源技术;2020年6月,Databricks宣布收购以色列初创公司Redash,并基于其技术推出了Lakehouse的关键开源技术Delta Engine。2020年,Delta Lake、Apache Spark和Databricks统一分析平台的进展,不断完善了Lakehouse架构的功能和性能。

湖库一体化简单理解为面向企业的数据仓库技术和低成本的数据湖存储技术的结合。Lake是公有云提供的海量结构化和非结构化数据的存储技术,而数据仓库是关系型数据的结构化数据存储和分析技术。这两种技术各有优缺点。现在企业往往分别构建数据湖和数据仓库,如果能够结合起来,就可以同时获得两种技术的优势。当然,湖仓的集成技术本身也不简单。Databricks将在2020年填补莱克豪斯的技术空空白。

2020年底,Gartner发布了云数据库管理系统幻方图,Databricks进入幻方图,这也是Databricks首次被纳入与数据库相关的Gartner幻方图。

Databricks对Lakehouse架构的追求,通过全新的系统设计,在云数据湖灵活低成本的存储上,直接实现了类似于数据仓库的数据结构和数据管理功能。通过结合这两种架构的优势,企业可以在同一平台上运行传统分析和数据科学/ML工作负载。这大大减少了在数据湖和下游数据仓库之间不断移动数据的复杂数据操作,也消除了数据孤岛,使数据团队可以在一个真实的数据源上操作。

Databricks的统一数据分析平台的最大优势是可以在一个地方大规模运行数据处理和机器学习工作负载。Databricks在2020年欧洲数据+AI峰会上宣布推出SQL Analytics,大大扩展了其数据管理和分析能力。SQL Analytics为Databricks客户提供了一流的体验,可以直接在数据湖上执行BI和SQL工作负载。该服务允许数据分析师使用熟悉的BI工具查询数据湖并提高查询性能。Databricks表示,其技术可以为分析工作负载提供比传统云数据仓库高9倍的性价比。

Databricks还创建了MLflow,这是一个开源的机器学习平台,允许团队可靠地构建和生产ML机器学习应用程序。Databricks表示,凭借每月超过250万次的下载,来自100个组织的200名贡献者,以及4倍的同比增长,MLflow已经成为使用最广泛的开源机器学习平台,可以跨不同的机器学习库、语言、云和本地环境。如今,MLflow构成了Databricks机器学习工作流功能的基础,有助于确保客户能够获得最开放、最灵活的工具集。

2020年,Databricks还入选了Gartner的2020年数据科学和机器学习平台魔力象限,进入领导者象限。

Databricks是少数几家同时被纳入两份Gartner魔力象限报告的供应商之一,也是唯一一家通过统一平台实现这一目标的供应商。Databricks允许客户通过简单开放的分析、数据科学和机器学习平台,更好、更快地利用数据来推动创新。这个平台结合了团队、流程和技术。

除了在技术上不断推动统一分析平台,Databricks与微软、AWS的紧密合作是推高其估值的重要原因,尤其是与微软的合作。Databricks与微软合作创建Azure Databricks始于大约4年前,在此期间,Azure Databricks与Azure Synapse等其他Azure服务一起开发。构建在云存储上的数据湖无法提供分析所需的所有类似数据库的功能。现在Azure数据湖存储与Delta Lake结合,Databricks、Synapse、Power BI等关键分析服务已经准备就绪,可以让企业在一个地方使用数据,应对BI、数据科学、数据工程的各种分析场景。

Azure Databricks通过高效的协作平台和代码优先的数据管道,为数据工程师和数据科学家提供支持;Azure Synapse为BI提供了低延迟、高并发的高性能数据仓库,并集成了无代码/低代码开发。这两者都允许分析师使用最常见的数据语法SQL直接在数据湖中进行分析,这大大改善了Azure的用户体验。

总的来说,Databricks是一个统一的分析平台,与微软Azure的第一方合作为其提供了广阔的市场,而与AWS的紧密合作也为Databricks提供了丰富的客户来源。大数据+统一分析+AI+云存储+开源+微软Azure/AWS,这是Databricks高估值的成功公式。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/news/1692365.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号