当今社会人工智能概念火热。日常生活中,电视、报纸、移动终端经常会看到大数据的报道。我感觉有了大数据,就会有智能,会给工作、学习、生活带来很大的改变。
那么什么是大数据呢?
大数据是大规模的数据,也就是大量的数据。这是很多人想到这个问题的答案。
这是正确的答案吗?
答案里有对的成分,因为大数据首先要体现在量上。既然叫大,就一定是体积大,样品中一定有足够的单体。但是,这种回答是不完整的。数据只是零散的数字或符号,必须对数据进行分析总结才能体现其功能。大数据的另一个特点是,被深度学习算法利用是有用的、有价值的,可以揭示一些之前规则不清晰的数据。
下一个问题:
大数据是如何形成的?
我个人认为大数据的形成离不开计算机技术和网络技术的快速发展。它提供强大的计算和交互能力、物理数据链路通道和海量存储设备。人工智能技术已经出现了半个世纪。为什么现在提到大数据的越来越多?一个重要的原因是现在的计算机技术和网络技术可以支撑以前的大数据思想,让大数据落地。
按照国际通用的说法,我们今天说的大数据是2000年以后因为信息交换、信息存储、信息处理三个方面的技术和信息的大规模增长而产生的数据。
这里有一些数据,显示这三个方面的技术和信息也在呈指数级增长:
1.关于信息交互,从1986年到2007年的近20年间,地球上每天的信息交互增加了217倍。
2.关于信息存储,从1986年到2007年,全球信息存储容量增长了约120倍。1986年,地球上所有的存储介质可以存储全球1%左右的交互信息。2007年,这一比例上升至16%,尽管2007年的互动信息量比1986年大幅增加。
3.关于信息处理,以谷歌、脸书、亚马逊、阿里等为代表的公司。都建立了灵活强大的分布式数据处理集群,数十万台计算机群运算分析海量数据。
大数据的来源是什么?
我个人觉得两类就够了:
1.在工业生产、科研等需要机器参与的地方,通过各种传感器、检测设备进行积累;
2.在需要人们参与的地方,比如民生,通过个人使用购物网站和搜索引擎的记录值的积累,或者公司产生的数据的调查分析。
大数据是有需求的,所以那些流量大的网站有得天独厚的优势,比如淘宝,谷歌。
淘宝是中国人上网用的就不用说了,它的数据对购物习惯有很强的指导意义。
谷歌是一个搜索引擎,最近一份关于谷歌大数据应用的报告显示了大数据的另一个特点:
大数据越来越多地来自生产或服务过程的副产品,但其价值往往超过为特定目的专门收集的数据。
谷歌对全球用户的查询涉及流感关键词的频率变化,对全球季节性流感及其分布和传播进行分析和预测。其准确性甚至超过了各国卫生部门专门收集的相关数据所做的分析。谷歌的数据是从哪里来的?用户自己输入。用户为什么要输入“流感”查询?极有可能是用户本人或者家人得了流感,所以样本的准确率非常高,很有价值。大量高精度的个体样本为最终的精确分析和预测奠定了坚实的基础。
反正最后总结一下,大数据就是可以被深度学习算法利用的海量数据。



