本文由星环科技创始人CEO孙元浩撰写,投稿参加“数据猿年度金猿策划活动——2020年大数据行业趋势榜单及奖项”评选。
2020年是承前启后、继往开来的里程碑之年。在“十三五”末和“十四五”初的这一年,我国经受住了新冠肺炎疫情的考验。其中,大数据是城市疫情防控不可或缺的有力支撑和保障。年初,全国各地推出健康码,利用大数据技术第一时间判断个人健康状况,查找疫情传染源,追溯感染高发人群,帮助政府部门在各地进行精细化疫情防控。比如最近上海的应用码也推出了“有亲人的应用码”功能,帮助老人和孩子申请健康码,帮助部分老人跨越数字鸿沟。在疫情正常化的今天,健康码不再只负责健康状况的查询和结果的展示。已经开始在公共出行、医疗保险、借书等各种公共服务和服务渠道上进行拓展和延伸。
2020年初,国家发改委多个部委提出了“新基础设施”的概念。2001年中国加入世贸组织后,经济增长主要来自投资、出口和消费。到2010年,中国的国际贸易约占世界GDP的60%。随着中美进入战略竞争阶段,意味着我们需要有更多的经济体,意味着我们要专注于国内经济的内部循环。在这种百年不遇的情况下,全国各地政府都积极加大新的基础设施建设,努力推动整个经济进入下一个发展周期。
关于新的基础设施建设,一方面是信息基础设施建设,包括机房、大数据软件、云等;另一方面是整合基础设施建设,将新一代新技术融入各行业,加速其转化;另外还有创新基础设施,主要是一些基础创新,重点是核心技术的研究。我们可以看到,大数据技术实际上正在不断地融入各个行业,并且处于新基础设施的核心,加速着各个行业和企业的数字化转型。政府、交通、能源、制造等行业通过大数据技术的运用和大数据平台的建设,实现了数据的沉淀和收集,挖掘数据的潜在价值,最终利用大数据技术提高自身的核心竞争力,实现降本增效。
展望2021年,我认为大数据行业将迎来三大趋势。
趋势1:多模式大数据平台
第一个趋势是,随着大数据技术的演进,未来的大数据平台将需要具备多模型特征。在过去,单一的关系数据库用于处理数据。随着数据量的增加,大约在11、12年间提出了混合架构。因为单个关系数据库不再能够处理不断增长的数据,所以有必要向单个关系数据库添加MPP架构和Hadoop架构。Hadoop用来做一百多TP,MPP用来做几到十TB的数据集,少部分放在关系数据库或者内存数据库。这种架构被称为混合架构,也被称为第一代,它仍然使用传统技术的拼接。
大约在2009年之后,所有人都认为一个引擎应该处理所有的数据,而不是使用混合架构。从2009年到2015年的6年时间里,大家努力的目标是用一个SQL引擎处理不同的数据,用一个数据库取代之前的多个混合架构的关系数据库。这就是所谓的第二阶段。在这个阶段,我们还提出了一站式大数据平台的概念。我们刚创业的时候,就提出了这个概念。我们需要一个SQL引擎来解决不同数据量的数据问题,而且在每个数据层面都是高效的,比传统数据库快,甚至快一个数量级。这个过程在15年左右就尘埃落定了,已经认识到有一个单引擎可以解决这个问题,取代混合架构。当然今天国内还是有很多客户不采用一站式架构,大部分不是星环的客户采用混合架构。
第三阶段,我们看到除了关系数据和结构化数据处理,还有很多非结构化数据,比如图形数据、文档数据、自然语言和文本。在过去,我们使用了多种数据库技术,包括作为图形数据库的Neo4j、作为搜索引擎的Elastic、作为文档数据库的MongoDB、作为文件存储的Hadoop和作为机构数据处理的MPP。这是各种不同的数据库组合。现在,一个明显的趋势是一个平台能否处理各种类型的数据,尤其是大数据应用于多个行业的时候。有传感器数据、图像数据、结构化数据,尤其是医疗行业,数据类型更多。
现在一个新的趋势是使用统一的大数据平台,有核心的存储平台,统一的计算引擎,统一的接口。但是它的存储方式不一样。它可以支持文本、结构和对象存储。这可以大大简化大数据平台本身的使用、运维,以及应用的开发,可以加速这项技术在各个行业的应用。这是一个明显的趋势。当时在2017年,我们提出了一个思路,一个平台可以存储不同的数据表单,不同的数据模型,但是上面的计算引擎和SQL引擎的接口是一样的,大大简化了开发的难度,可以实现跨多种数据表单的相互访问。现在不难看出,这是一个明显的趋势。我们星环和国外的数据库软件公司都在朝这个方向努力,希望用一个平台来处理不同类型的数据。
趋势2:联邦学习技术
第二个趋势是联邦学习的技术。过去,数据分散在不同的地方,不同的数据中心,不同的国家,因为每个国家都有一些数据保护的规定,很难把数据拿出来。另一种是一些客户的数据太多,无法放在一个数据中心,可能需要放在多个城市和地方。还有一种情况是,不同的企业要共享交换数据,但是由于数据的隐私性和网络安全法,不能直接把原始数据给别人,这也是联邦学习诞生的一个背景原因。
联邦的概念是将机器学习的算法分布到不同的数据中心,使算法可以在不同的数据中心运行,但原始数据不会在网络上传输,从而保证用户的隐私不会被泄露,但可以返回想要的结果。今天,联邦学习已经发展成几个细分的类别。还有横向联邦学习,不同的样本在特征相似的夏天进行组合互补,用更大的样本数据提高现有模型的精度。还有垂直联邦学习,比如同一个人,在样本收敛的情况下,会联合互补不同的特征,用更多的特征数据完成一个客户样本的画像。还有迁移联邦学习,一类样本的统一模型可以迁移到另一批。但是也有一些不同企业的数据,可能会相互影响。在这种情况下,有必要使用个性化的联邦学习进行统一分析。
随着这些技术的进步,共享和交换数据成为可能。在过去,如果你想实际交换数据,很可能会触犯一些法律的底线。但是,使用联邦学习计划可以使数据留在家里,仍然可以达到统一分析的结果。在今天这个大家都把数据当成生产要素来实现流通交换的时代,联邦学习被认为是一条可行的技术路径。
趋势三:智能大数据技术
第三个趋势是AI的智能技术。以前大数据分析主要叫计算智能,通过分布式计算实现大规模统一数据分析,这也是AI发展的第一阶段。在2006年之前,人们用分布式计算来解决机器学习效率的问题。像谷歌这样的典型广告系统使用分布式计算来进行机器学习。这项研究的主要重点是使用大量机器组成一台超级计算机来分发机器学习算法,并提高其性能和准确性。这个阶段被称为计算智能阶段。
2009年后,深度学习算法被发明,在人脸识别和图像识别方面打败了之前所有的算法12年。2009年也被称为机器学习元年。从今年开始,我们把AI作为感知智能的阶段。一个明显的特点是,有多少人力,就有多少智力。因为感知智能需要大量的样本进行训练,整个神经网络就是一个黑箱,需要大量的数据给它,教它,才能训练出结果。当一个识别算法达到99.99%时,可能需要100万个样本。这个量很大,而且是巨大的体力活动。我们认为现阶段中国的人工智能应该是世界领先的,因为中国的劳动力优势使得算法领先于美国,事实也是如此。
第三阶段,我们在研究机器是否可以在不喂样本的情况下独立学习,也就是所谓的强化学习。另一部分叫做迁移学习,利用已有知识学习新知识,从而失去劳动力优势,自动进化算法。这个阶段叫做认知智能阶段。除了自学,也到了知识推理阶段。利用知识图谱做智能问答,机器变得更加智能。这也是现在的研究方向。我们称之为人工智能的第三阶段,即认知智能,也称一般智能。
今天,我们进一步认为,在认知智能阶段之后,应该利用推理技术构建知识图谱,在知识图谱上进行推理,发现更多的新知识。目前,许多金融机构已经开始使用图形数据库和知识图谱。该数据库主要用于实时反欺诈、快速查询和风险控制。知识地图主要用于企业风险分析,将企业的所有相关信息聚集在一起。过去被认为是相对静态的地图,今天往往被认为是动态的。它随时间而变化。比如突发事件发生时,这个事件会产生什么影响,风险会如何扩散?我们需要一个动态的知识图谱来构建和描述,并且能够进行推测和推理。同时,我们增加了时间序列分析、地理空分析和3D显示,使图形的操作更加简单。在过去,图被用于异常检测和反欺诈,然后图被用于查询风险传播,以判断一个事件的影响。现在我们把图计算和深度学习结合起来,对其进行大规模的图分析,用自然语言处理在前端构建一个图。目前,知识地图已经在金融、国防工业、制造业等多个行业得到应用。
一般来说,多模型、云原生、联邦学习、智能等技术。将有助于大数据的不断发展和创新。如今,数据作为生产要素、企业的重要资产和进步的源泉,已经被提升到国家战略的高度。未来,相信大数据技术将继续助力各行各业的数字化转型,成为企业的核心竞争力。
关于作者孙元浩:
1977年11月出生。1996年毕业于江苏省常州高级中学,2003年毕业于南京大学,获计算机专业硕士学位,同年加入英特尔,曾任英特尔亚太RD有限公司数据中心软件部亚太区CTO,现任星环科技创始人兼CEO。
现任上海市信息化专家委员会大数据专业委员会委员,中国人工智能产业发展联盟理事,星瀚大数据联合实验室副主任,上海市徐汇区科学技术协会会员。在大数据和人工智能的产业应用领域拥有多年的技术成果和丰富的经验。作为项目负责人,承担上海市市级重大科技项目9项,拥有国内外专利13项,发表大数据产业应用论文多篇。曾入选上海市领军人才培养计划,获得郑智杯上海市科技企业家创新奖、上海市十大杰出青年商人、中国大数据领军人物、中国数据英雄、互联网技术应用杰出贡献者、上海市智慧城市建设领军人物、上海市优秀学术技术领军人物等多项荣誉。



