首先,我们来看看什么是大数据。数据生成的几个阶段
操作系统阶段,用户原创内容阶段,感知系统阶段,三波信息技术;
大数据概念/4个基本特征:
数据量大,数据类型多,处理速度快,价值密度低。数据研究分为实验、理论、计算、数据四个阶段。其次,我们来了解一下什么是大数据技术。
它是伴随着大数据的获取、存储、分析和应用,以及一系列非传统工具对大量结构化、半结构化和非结构化数据进行处理,从而获得一系列分析和预测结果的数据处理和分析技术。
当然,对编程感兴趣的小伙伴可以直接戳链接溢价购买学习编程~
2021超实用性的Python零基础入门到进阶视频源码淘宝¥2购买已下架大数据的基本处理:
大数据技术有四个主要元素:
1.数据收集
使用ETL工具,将来自分布式异构数据源的数据提取到临时中间层进行清洗、转换和集成,最终加载到数据仓库或数据集市,成为联机分析处理和数据挖掘的基础。
收集的实时数据用作流计算系统的输入,用于实时处理和分析。
2.数据存储和管理
利用分布式文件系统、数据仓库、关系数据库、NoSQL数据库和云数据库实现结构化、半结构化和非结构化海量数据的存储和管理。
3.数据处理和分析
采用分布式并行编程模型和计算框架,结合机器学习和数据挖掘算法,实现海量数据的处理和分析。
将分析结果可视化,帮助人们更好地理解和分析它。
4.数据隐私保护
在挖掘大数据潜在商业价值和学术价值的同时,构建隐私数据保护体系和数据安全体系,有效保护个人隐私和数据安全。
之后,我们来学习大关键数据技术,分为两个基本内容:
分布式存储:GFS/HDFS,BigTable/HBase,NoSQL
分布式处理:MapReduce
大数据计算模式:
大数据产业主要包括以下几个方面:
IT基础设施层
数据源层
数据管理
数据分析层
数据平台层
数据应用层
大数据、云计算、物联网的关系;
云计算:通过网络提供可扩展且廉价的分布式计算机的能力,使用户可以在任何时间、任何地点、任何可以访问网络的地方访问他们需要的各种IT资源。关键技术包括虚拟化、分布式存储、分布式计算、多租户等。
物联网:物联网,利用局域网或互联网等通信技术,将传感器、控制器、机器、人与物以一种新的方式连接起来,形成人与物的连接,实现信息化和远程管控。
区别:大数据侧重于数据的存储、处理和分析,而云计算侧重于IT资源的整合和优化,以便通过网络低价提供给用户;
相关:云计算为大数据提供了技术基础,大数据为云计算提供了场所,物联网是大数据的重要来源。大数据支撑物联网,云计算为物联网提供海量存储能力,物联网为云技术提供应用空。
关注光头强,与你分享更多编程知识和干货。朋友们长按赞键支持一下~



