栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > 资讯 > 高等教育 > 院校资讯

大数据不是万能的,所以我们要将大数据方法,大数据技术与应用读书笔记

大数据不是万能的,所以我们要将大数据方法,大数据技术与应用读书笔记

引言:本文概述了数据、分析、商业智能、报告、大数据、数据科学、边缘分析、信息学、人工智能和认知计算的基本概念。

格雷戈里·纳尔逊

来源:大数据DT

01数据

数据几乎渗透到我们生活的每个角落,从我们在手机中留下的数字足迹,到健康记录,到购物历史,以及资源的使用。在当今的数字世界,没有数字的生活并非不可接受,但也需要巨大的牺牲和难以置信的毅力才能忍受。

我们不仅是数据生产者,也是积极的数据消费者。例如,我们经常检查我们的在线消费习惯,监控健身计划,或者检查我们的常旅客积分是否足够在加勒比海度假。所有这些行为都在消耗数据。

但是数据到底是什么?在最常见的形式中,数据是为以后使用而存储的信息。最早记录信息的方法可能是在动物骨头上蚀刻符号。20世纪50年代,人们开始在磁带上记录数字信息,然后是穿孔卡片,然后是使用磁盘。现代数据处理起步时间不长,但它已经奠定了我们如何收集、存储、管理和使用信息的基础。

直到最近,我们只能对无法计算的信息进行分类。但近年来,通过大量的技术变革,无法存储的数据类型已经越来越少。事实上,存储的信息或数据是以可用的编码方式为我们的可计算目的构建的真实世界的模型。

数据是现实世界中发生的事情的连续记录或“模型”,这一事实是分析的一个重要特征。乔治·鲍卡斯,公认的20世纪最伟大的统计学家之一,曾经说过,“所有的模型都是错的,但有些模型是有用的。”

很多时候,我们在数据中发现一些没有意义或者完全错误的东西。记住,数据是从真实的物理世界中转化出来的,抽象成代表真实世界的东西,也就是乔治所说的“模型”。就像机械式车速表是衡量速度的标准一样,这个模型实际上测量的是轮胎的转速,而不是速度。

简而言之,数据是存储的信息和所有分析的基础。比如可视化分析,我们利用可视化技术和交互界面对数据进行分析和推理,找出数据本身的规律。

02分析

分析可能是商业中使用最多但最难理解的术语之一。对某些人来说,它是一种用来“把数据打成招数”的技术或技能,或者只是商业智能和数据仓库的延伸;对其他人来说,分析是一种用于开发模型的统计、数学或定量方法。

《韦氏词典词典》说,分析是“一种逻辑分析的方法”。Dictionary.com的字典将分析定义为“逻辑分析的科学”。遗憾的是,两种定义都直接使用了分析这个词的词根,循环解释似乎存在逻辑错误。

分析这个词的起源可以追溯到17世纪80年代的中世纪拉丁语和希腊语,意思是“分解”或“放松”。我将分析定义为解决数据驱动问题的结构化方法:一套通过仔细审查事实来帮助我们解决问题的方法论。

关于分析的定义有很多争论。就正在讨论的问题而言,我将分析定义为:

一个全面的、数据驱动的解决问题的策略和方法。

我有意避免将分析定义为“过程”、“科学”或“学科”。相反,我将分析定义为一个全面的策略。正如读者将在本书的第二部分看到的,它是包括过程、规则和可交付成果的最佳实践。

分析运用逻辑、归纳推理、演绎推理、批判性思维、定量方法等手段对现象进行检验和分析,从而确定其本质特征。分析植根于科学方法,包括问题识别和理解、理论生成、假设检验和结果交换。

归纳推理

当积累的证据被用来支持一个结论,但该结论仍具有一定的不确定性时,就会使用归纳推理。也就是说,最终的结论可能与给定的前提不一致。通过归纳推理,我们可以根据具体的观察或数据进行广泛的、一般性的概括和总结。

演绎推理

演绎推理是在一些一般情况的基础上提出一个论断,然后依靠数据,通过统计推断或实验手段来证明或证伪这个论断。比如按照演绎推理的方法,我们提出一个关于世界运动方式的基本理论,然后检验我们假设的正确性。

分析可以用来解决各种问题。例如,UPS应用分析结果并采取措施优化货物运输,节省了150多万加仑燃油,减少了1.4万吨二氧化碳排放;克利夫兰诊所利用分析结果来优化手术室的手术安排。

有了这些成功的案例,“分析”对于技术供应商和其他不同的支持者来说无疑是非常有吸引力的。当然,“分析”这个词目前有被过度使用的危险,从人们对这个词与其他词的各种组合就可以看出来。比如:

大数据分析

规范分析

商情分析

操作分析

高级分析

实时分析

或者边缘环境分析。

虽然这些组合和搭配在分析应用的类型和描述中是独特的,但它们经常引起理解上的混乱。尤其对于企业高管来说,技术供应商总是热衷于提供最新的分析解决方案,试图解决他们的每一个业务痛点。

我的观点是,分析不是技术,只是促进和赋能分析活动的策略和方法。

分析通常也指任何能够识别数据之间有业务意义的模式和关系的解决方案。分析用于分析不同尺度、不同复杂程度、结构化和非结构化、定量或定性的数据,以实现理解、预测或优化具体问题的明确目的。

所谓高级分析也是分析的子集。它使用复杂的分析技术来支持基于事实的决策过程,这种分析通常以自动或半自动的方式进行。

高级分析通常包括数据挖掘、计量经济学建模、预测、优化、预测建模、模拟、统计和文本挖掘等技术。

03商业智能和报告

对于分析和商业智能之间的区别,几乎没有共识。有些人将分析归类为商业智能的子集,而另一些人将其归类为完全不同的类别。我将商业智能定义为:

一种管理战略,旨在建立一种更加结构化和有效的决策方法……BI包括常见元素,如报告、查询、在线分析处理、仪表板、记分卡甚至分析。综合术语BI也可以指获取、清理、集成和存储数据的过程。

有人会把分析和商业智能的区别总结为两个方面:

所用量化方法的复杂性;

无论结果是为了历史上已经发生的事,还是未来将要发生的事。

也就是说,商业智能的重点是使用相对简单的数学方法来显示和呈现历史数据,而分析被认为是使用更复杂的计算逻辑的方法,可以预测一些具体的问题,识别因果关系,并确定最佳解决方案。有时,它也用来表示需要采取的行动和措施。

大多数商业智能应用的局限性不在于技术的局限性,而在于分析的深度和提供行动基础的真正洞察力。例如,告诉我已经发生的事情不能帮助我决定如何行动来改变未来。这样的结果往往是通过离线分析获得的。

分析的真正职责是形成可操作的、可操作的见解,这些见解可以帮助我们理解已经发生的事情,预测未来可能发生的事情,以及我们可以做些什么来影响和优化未来的结果。

请注意,图1-1中描述的BI仪表板描述了过去的事实,如销售额、呼叫量、产品和客户,使您可以轻松了解贵组织当前的销售状态或活动。

▲图1-1商业智能仪表盘,来源:QlikTech International AB

业务及其近邻“报表”是用于描述相关现象的信息显示技术,通常位于数据传输管道的末端,可以直观地访问数据和结果。另一方面,分析超越了对数据的描述,它真正理解了这种现象的内在规律,从而预测、优化和预测未来要采取的适当行动。

传统上,商业智能一直有两个缺点,这源于它们与以下事实相关:

BI通常侧重于建立对过去发生的事情的认识,因为它侧重于测量和监控,而不是预测和优化;

它的定量分析通常不够复杂,不足以建立能够产生准确洞察力的有意义的变化。

如果商业智能与深入的“分析”适当结合,它将比仅仅了解事实更接近于分析。然而,它往往缺乏高级分析解决方案中常用的复杂的统计、数学或“机器学习”方法。

因此,我认为分析是商业智能整体框架所包含的概念的自然演变。它更强调充分开展必要的活动,以形成能够促进行动的见解。分析远远超出了自助服务控制面板或报告界面中使用的预定义可视元素。

04大数据

大数据是描述不和谐信息的一种方式。在将数据转化为洞察力的过程中,组织必须处理这些困难的信息。1997年,迈克尔·考克斯和大卫·埃尔斯沃思首次使用了大数据这个词。他们当时提到的“问题”如下:

它为可视化计算机系统提供了一个有趣的挑战:数据集通常非常大,占用了大量的主存、本地磁盘甚至远程磁盘的容量。我们称之为大数据问题。当数据集太大而无法存储在主内存甚至本地磁盘上时,最常见的解决方案是扩展和获取更多资源。

将大数据作为一个概念,凸显了数据的规模和复杂程度超出传统数据分析方法所能处理的范围这一挑战。我们将大数据与传统的“小”数据进行比较,包括其容量、速度和多样性。

如果大数据是一个用来描述当今信息复杂性的概念,那么分析可以帮助我们以一种主动的方式来分析复杂性,而不是以一种被动的方式来处理它。

05数据科学

与大数据相比,定义数据科学并不是一件容易的事情,因为在数据科学的众多定义中,很少有一致的描述。关于数据科学意味着什么,它是否与分析完全不同,有很多争论。

其他人甚至试图通过讨论数据科学家的工作来定义数据科学:他们需要的技能,他们扮演的角色,他们使用的工具和技术,他们工作的地方,以及他们的教育背景等。但是这些并没有给数据科学一个有意义的定义。

与其根据人或他们处理的问题来定义数据科学,不如按如下方式定义:

数据科学是一门科学学科,它使用统计学和数学领域的定量方法以及现代技术来开发算法,以发现模式、预测结果并找到复杂问题的最佳解决方案。

数据科学和分析的区别在于,数据科学可以帮助甚至支持数据的自动化分析,但分析是一种以人为中心的策略,它充分利用各种工具,包括数据科学中发现的工具,来了解事物和现象的真实本质。

数据科学可能是这些概念中最广泛的,因为它涉及到处理“数据”的整个科学和实践。我认为数据科学是由计算机科学家设计的分析,但在实践中,数据科学往往侧重于一般宏观问题的研究,而分析往往侧重于解决特定行业或特定问题的挑战。

06边缘分析

在许多现代企业中,分析是其核心业务活动之一。这些企业通过数据驱动、以人为中心的业务运营和管理流程,实现了数据的大众化。

边缘分析一般指分布式分析。在这种情况下,分析内置于一些机器或系统中。通过这种内置的方式,信息的生成和收集成为了企业“潜意识”的独立活动。

边缘分析通常与智能设备有关。在这种情况下,分析和计算在数据收集点进行。与传统的数据管道传输模式不同,边缘分析将分析嵌入到数据采集设备中,就近完成或实现。

数据大众化

所谓数据大众化,是指数据的开放,让每一个能够并且应该能够获取数据的人都有权利通过工具去探索和获取这些数据,而不是把数据限制在少数特权群体中。

例如,传统的信用卡欺诈检测依赖于机器,并通过与授权“代理”的连接发送请求来验证交易。该算法需要在很短的时间内授权或标记交易为欺诈。最后,读卡设备收到授权指令后完成或拒绝交易操作。在边缘分析中,算法将在仪器本身上运行。

边缘分析通常与物联网联系在一起。最近,IDC在一份关于物联网未来愿景的报告中提出,到2018年,40%的物联网数据将在网络中的数据生成边缘进行存储、处理、分析和响应。

随着物联网的发展,我们很可能会在未来看到更多关注所谓的“万物分析”,这是指分析将为物联网数据带来独特价值的机会。

环境是另一个相关的术语,它的名字意味着“分析无处不在”。就像一个房间的灯光或声音往往不被人注意,却为舞台营造了氛围一样,环境分析也会影响我们工作和娱乐的环境。

我们看到,环境智能正在日常生活场景中发挥作用,比如检测血糖水平和注射胰岛素。同样,当你回到家中,家庭自动化设备会在检测到相应信息时自动调节温度并开启照明。环境分析超越了基于简单规则的决策,它使用算法来决定适当的行动过程。

毫无疑问,边缘和环境分析将继续挑战传统的以人为中心的管理方法和流程。在传统的管理方式下,人是分析结果的主要使用者,在边缘和环境分析上会有越来越多的自主决策和执行。

07信息学

信息学是信息技术和信息管理的交叉学科。实际上,信息学涉及数据存储和检索的处理技术。本质上,信息学讨论的是如何管理信息,指的是支持流程工作流的系统和数据生态系统,而不是分析其中发现的数据。

卫生信息学,也就是信息科学中常说的,是介于卫生信息技术和卫生信息管理之间的一门专门技术。它整合了信息技术、通信和医疗保健,以提高患者护理的质量和安全性。它位于人、信息和技术交汇的中心。

卫生保健政策是指社会为实现特定的卫生保健目标而采取的决策、计划和行动。卫生政策制定者希望看到医疗变得更经济、更安全和更高质量,而信息技术和卫生信息技术往往是实现这一目标的重要手段。

事实上,最基本的任务之一是正确定位数据资源,以便它们可以提供每个患者健康信息的完整360度视图。只有数据共享才能做到这一点。

▲图1-2卫生信息管理、卫生信息技术和信息学之间的区别

所有这些概念都被整合在一起,并依靠底层数据、支撑技术和信息管理流程来实现这一目标。

08人工智能和认知计算

人工智能是一门让计算机做需要人类智能的事情的科学。

人工智能和机器学习的区别在于,人工智能是指利用计算机识别和探索模式的“智能”工作的广义概念,而机器学习是人工智能的子集,主要指利用计算机从数据中学习的概念。

机器学习是人工智能的子集,可以根据数据进行学习和预测。它不是仅仅根据一组特定的规则或指令来完成预先计划的操作,而是利用算法训练来独立识别大量数据中的模式。

人工智能可用于分析生命周期,以支持发现和探索。人工智能在分析中的应用通常采取机器学习或认知计算的形式。

认知计算是一种独特的应用,它结合了人工智能和机器学习算法,试图复制人脑的行为。

认知计算系统旨在像人类一样通过思考、推理和记忆来解决问题。这种设计方法使认知计算系统具有优势,使它们能够“随着新数据的到来而学习和适应”,并“探索和发现你永远不知道要问的事情”。

认知计算的优势在于,一旦学会了某种能力,就永远不会忘记,而人类往往做不到这一点。

在人与算法的竞争中,很不幸,人往往会输。这就是人工智能的优势。所以,要想聪明,就要学会谦虚,因为在计算机世界里,我们的直觉判断可能还不如基于一套简单规则的算法。——法纳姆街博客

从狭义上讲,人工智能代表的是人类的智能,而认知计算提供的是帮助人们决策的信息。

作者简介:Gregory S. Nelson,ThotWave创始人兼首席执行官,国际分析研究所专家,杜克大学弗卡商学院特聘教授。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/news/1702376.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号