什么是大数据?
相信大家对“大数据”这个词都很熟悉。从字面上看,这不是很多数据吗?
什么是大量数据?战国时期,五辆马车装载的竹简是大量的数据。到了宋代,人一样高的书就是大量的数据了。小时候一张1.44MB的软盘承载了很多数据。如今256GB基本是手机的标准存储容量,1TB硬盘中的存储空空间经常捉襟见肘。说起PB和EB,往往会让人觉得数据量真的很多。图1:大数据概念图对于大数据,很多机构和学者给出了不同的定义。例如,研究机构Gartner曾给出过这样的定义:“大数据”是一种需要新的处理模式,以具备更强的决策、洞察和流程优化能力,以适应巨量、高增长率和多样化的信息资产。麦肯锡全球研究所给出的定义是:一个数据集合,其规模大到其获取、存储、管理和分析大大超过传统数据库软件工具的能力。那么我们如何理解大数据呢?其实可以从大数据的3V特性来分析。图2:大数据及其3V特性卷是指大量的数据。一般来说,它的数据量至少超过了一台电脑的内存和硬盘容量。比如2020年12月,微博月活跃用户5.21亿,微信月活跃用户12.25亿。产生的数据总量是巨大的。速度是指数据生成和变化的速度。例如,世界上平均每分钟发出2亿封电子邮件。传统的车载毫米波雷达每秒可以产生100兆的原始数据。多样性是指数据的多样性。例如,智能驾驶汽车中要收集的数据可能包括视频数据、毫米波雷达RF原始数据、环境声音数据、GPS定位数据和V2X网络连接数据等。这些数据具有不同的数据格式和特征。因为这些3V特性,大数据的处理非常困难,也因此衍生出云计算、数据挖掘、边缘计算等技术手段。大数据和人工智能当我们谈论大数据和数据科学时,另一个概念经常浮现在我们的脑海中,AI,即人工智能。
人工智能是数据科学和计算机科学的重要技术领域。总的来说,就是让计算机去做以前由人类智能去做的事情,比如下围棋,开汽车。下面是2011年以来“大数据”和“AI”的搜索指数。可见“大数据”在12年前很少被搜索,17年左右达到搜索高峰,之后回落。但“AI”在11年及更早的时候就被人们知晓并搜索,17年搜索量飙升。图3:“大数据”和“人工智能”的搜索索引总的来说,10年来“大数据”和“AI”的搜索热度有类似的上升和下降趋势。原因是两者确实有关联,相辅相成。AI技术这几年的发展主要是基于机器学习技术的新应用。机器学习实际上是一种数据分析技术,它让计算机执行人类和动物的先天活动:从经验中学习。机器学习算法可以是简单的线性回归,也可以是复杂的深度神经网络。AI,尤其是机器学习,需要海量的数据来训练模型,而这些海量的数据需要持续快速的输入输出。与此同时,人工智能越来越多地用于处理各种类型的数据,如视频、图片和电磁波。这符合大数据的3V特性,也是近年来大数据和AI能够相互促进的原因。大数据和数据科学使用传统的数据分析方法很难处理大数据,往往需要特殊的数据建模技术、工具和系统来提取组织所需的价值。数据科学是一种科学方法,应用数学和统计思想、计算机工具和专业背景知识来处理大数据。
图4:数据科学的维恩图上图是德鲁·康威提出的数据科学的维恩图,直观的呈现了数据科学的几个特征和概念。黑客技能是指编程等计算机技术。因为大量的数据是以非结构化或者特殊格式存在的,我们可以通过编程技术来收集和准备数据,也可以对海量数据进行统计,处理数据库。数学与统计指的是数学和统计。这些数学和统计工具,如概率分布和代数,可以帮助分析数据,诊断问题或根据数据特征确定分析步骤。实质性专业知识是指专业背景知识。这些背景知识可能是商业、医疗保健、金融、教育、汽车驾驶等。熟悉这个领域将有助于实现数据科学更有效地解决问题。比如需要在一天的路测数据中寻找停车场景,有专业背景的工程师可能会直接通过车辆档位信号来寻找,看信号什么时候切换到“R”档。这三个关键技能有重叠的应用。这三种共享的技能可以组合成一种全面的数据科学方法,也可以单独应用一种或两种技术。这些技术没有优劣和高低之分。关键是要明确我们处理大数据的目的,以及数据本身的特点,选择最合适的技术组合作为我们处理大数据的工具。机器学习是一种将计算机技术与统计数学方法相结合,但忽略专业背景知识的技术。比如深度神经网络算法中可能会用到很多隐含层,而每一层和每一个参数的特性往往不是基于专业背景知识或语境,我们无法理解。图5:机器学习的概念图有时候结合背景知识,可以用统计数学模型处理数据,不一定要用编程技术,这是传统的调查技术。例如,当我们分析一个竞争产品时,我们可能会根据背景选择几个关键的竞争对手。一个简单的带Excel的统计表就足以说明问题,达到我们的目的。DrewConway仅凭计算机技术和背景知识称之为危险区域,但不需要统计数学模型。其实就是说这个区域很少出现。一个典型的例子是统计某个单词在文章中出现的次数。分类和存储计算在工作中,有时候我们会遇到工作交接2的情况。如果上一个思路清晰,数据排列有逻辑有结构,下一个就容易多了。在大数据领域,我们也根据结构化程度对数据进行分类。三种特定的数据类别是:
结构化数据:这是我们通常在脑海中想到的数据的样子。这些数据按行列排列,贴有标签,每种数据类型的放置和位置都井井有条,规则清晰。典型的例子是通用excel电子表格和汽车通信矩阵。半结构化数据:这种数据的变量也有定义,但是它的规则不是不可变的。通常,数据由标记符号来标记,并且标记符号是可变的。典型的例子是超文本标记语言和基于AUTOSAR的扩展标记语言。下图是ARXML文件的截图示例,从中我们可以读取相关的变量信息,比如“AntiReplay”的属性为“True”,帧长为64。但是,每个ARXML中的变量定义是不同的。例如,如果一些帧没有安全属性,它们将没有“防重放”的定义。图6:半结构化数据的典型例子:ARXML文件非结构化数据:这种数据类别既没有统一的定义规则,也没有固定的数据变量。典型的例子就是我们微信朋友圈里的数据,可能包括数字、表情、多语种文字、图片、音视频等。数据长度不确定,每天谁发几个好友也不确定。现实中,这三个数据类别的数据总量在增加,但处理难度也在增加。结构化数据一目了然,最容易处理,但在现实生活中,这类数据所占的比重很小。半结构化数据可以通过编写相对简单的软件程序来结构化。非结构化数据是我们生活中最常见的。理论上,我们身边发生的一切都可以视为这一类。这些非结构化的数据需要我们找到解决方案让它们结构化,比如人工标注和机器学习。根据数据类别的不同,有不同的数据存储和计算方法。接下来,我们来看几个典型概念。数据仓库:这是20世纪七八十年代出现的一种存储和处理方法,主要用于结构化数据。数据仓库通常具有清晰的结构,例如由二维行列表管理的数据库。一般来说,不同的组织有自己的数据仓库,例如,销售部门有自己的数据仓库,RD部门有自己的数据仓库。然而,数据仓库的灵活性较差。当数据快速变化时,容易造成“空仓库”现象。也就是规则清晰的数据仓库空因为数据变化太快,不符合仓库的输入条件而闲置不用。数据湖:结构化、半结构化和非结构化数据都可以进入数据湖。在此基础上,可以部署分布式系统架构,比如Apache Hadoop,这就是典型的系统框架。本世纪初,还掀起了一场大数据革命。但是,如果没有良好的维护机制,或者相同的数据以不同的格式和版本并存,或者数据格式与应用软件不匹配,那么数据湖就可能成为“数据沼泽”。数据可能会丢失或在沼泽中永远找不到。云:在数据内容上,云类似于数据湖,各种数据都可以进去。然而,云的存储和维护是基于网络的,而不是依赖于一些本地设备。当然,云解决方案的本质是基于网络的,所以也存在一些数据和网络安全、访问便利性等问题。图7:云计算架构雾:有时也叫边缘计算,是指连接到云端的边缘设备,也可以在本地存储和处理一些数据。“雾”的比喻也在于此,即把云接地,使之来到我们面前,成为“雾”。这种存储和计算方法在数据安全和隐私等领域发挥着关键作用。比如我们熟悉的手机人脸识别。在识别的过程中,会有一个通过网络与云端交互的过程,但前置摄像头拍摄的视频等数据及其关键计算过程都可以在手机本地完成。云端没有隐私,可以省去很多数据泄露的后顾之忧。写在最后大数据博大精深,也是新常态。我们能做些什么来为新一轮大数据革命做准备?作为一名普通工程师,我建议可以进一步学习计算机和编程技术。Python和R都是大数据工具。此外,人工智能和机器学习也是兼容大数据的关键领域。这种结合不仅会影响工程技术,还会带来销售、采购、战略规划和决策等领域的变革。当然,数据安全和与数据相关的网络安全相信是未来的热点。最后,希望大家以后能通过大数据收获更多。
参考来源:1.指数,file/tupian/20220518/index.html #/趋势/% E5 % A4 % A7 % E6 % 95% B0 % E6 % 8d % AE words = % E5 % A4 % A7 % E6 % 95% B0 %2、什么是数据科学,https://www.oracle.com/data-science/what-is-data-science/
3、数据科学家的角色,https://science . nu/community/The-Role-of-The-Data-Scientist/
4、雾计算vs云计算,http://www . e2matrix . com/blog/2017/10/26/Fog-computing-vs-Cloud-computing/



