栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

流行软件的汇总学习笔记

流行软件的汇总学习笔记

1. Hadoop、Hbase和Spark 1.1 Hadoop

Hadoop是一种能够对大量数据进行分布式处理的软件框架(分布式系统基础架构)。
Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算。

1.2 Hbase

Hbase(Hadoop Database)是一个分布式的、面向列的开源数据库(Hadoop项目的子项目),Hbase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。

1.3 spark

Spark是专为大规模数据处理而设计的快速通用的计算引擎。类Hadoop MapReduce的通用并行框架,但不同于MapReduce的是——Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

PrestoDB

Presto(或 PrestoDB)是一种开源的分布式 SQL 查询引擎,用于针对任何规模的数据进行快速分析查询。

  • 既可支持非关系数据源,例如 Hadoop 分布式文件系统 (HDFS)、Amazon S3、Cassandra、MongoDB 和 Hbase。
  • 又可支持关系数据源,例如 MySQL、PostgreSQL、Amazon Redshift、Microsoft SQL Server 和 Teradata。

Presto 与 Hadoop/HDFS 不同,它没有自己的存储系统。因此,Presto 与 Hadoop 互补。

clickhouse

ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。

Phoenix

Phoenix 是构建在 Hbase 上的一个 SQL 层,能让我们用标准的 JDBC APIs 而不是 Hbase 客户端 APIs 来创建表,插入数据和对 Hbase 数据进行查询。

Elasticsearch

Elasticsearch 是一个实时的分布式存储、搜索、分析的引擎。

zookeeper

zookeeper 就是动物园管理员,他是用来管 hadoop(大象)、Hive(蜜蜂)、pig(小 猪)的管理员, Zookeeper: 是一个分布式的、开源的程序协调服务,他提供的主要功 能包括:配置管理、名字服务、分布式锁、集群管理。

Nginx

Nginx是一款轻量级的Web服务器、反向代理服务器,由于它的内存占用少,启动极快,高并发能力强,在互联网项目中广泛应用。

PostgreSQL、MySQL和Redis 关系型数据库
  • PostgreSQL是由加州大学计算机系开发的对象关系型数据库管理系统(ORDBMS),具备更高的可靠性,对数据一致性完整性的支持高于MySQL,因此更加适合严格的企业应用场景(比如金融、电信、ERP、CRM)。
  • MySQL是由瑞典MySQL AB 公司开发的关系型数据库管理系统,现属于 Oracle 旗下产品。MySQL查询速度较快,更加适合业务逻辑相对简单、数据可靠性要求较低的互联网场景(比如google、facebook、alibaba)。
非关系型数据库

Redis(Remote Dictionary Server ),即远程字典服务,是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库。

参考资料

MySQL与PostGreSQL的区别
Presto (PrestoDB) 简介
什么是ClickHouse?
Hbase - Phoenix的安装使用教程1(基本介绍、安装部署)
什么是 Elasticsearch?一篇搞懂
Nginx中文文档

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/326395.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号