Hadoop学习之路

Hadoop学习之路

• Hadoop 概述
• • 介绍
  • Hadoop 优势
  • Hadoop 组成
  • HDFS 架构
  • MapReduce 架构
  • YARN 架构
  • 大数据技术生态体系
  • 推荐系统框架图
• 配置服务器
• • 修改服务器名
  • • 修改主机名称
    • 查看主机名称
  • 修改映射 hosts 文件
  • • 修改映射 hosts 文件
    • 查看映射 hosts 文件
  • 安装 epel-release
  • 安装 net-tool
  • 安装 vim
  • 关闭防火墙
  • 关闭防火墙开机自启
  • 创建文件夹
  • 卸载虚拟机自带的 JDK
  • 重启服务器
• Hadoop 运行模式
• • 本地运行模式
  • 完全分布式运行模式

我一口气整™三台云服务器(有钱豪横)

Hadoop 概述 介绍

Hadoop是一个由Apache基金会所开发的分布式系统基础架构
解决 : 海量数据的存储和海量数据的分析计算问题

Hadoop创始人Doug Cutting

Google是Hadoop的思想之源（ Google在大数据方面的三篇论文）

GFS —> HDFS
Map-Reduce —> MR
BigTable —> Hbase

Hadoop 优势

• 高可靠性
• 高扩展性
• 高效性
• 高容错性

高可靠性： Hadoop底层维护多个数据副本， 所以即使Hadoop某个计算元素或存储出现故障， 也不会导致数据的丢失

高扩展性：在集群间分配任务数据， 可方便的扩展数以千计的节点

高效性：在MapReduce的思想下， Hadoop是并行工作的， 以加快任务处理速度

高容错性：能够自动将失败的任务重新分配

Hadoop 组成

在 Hadoop1.x 时 代 ，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度， 耦合性较大。
在Hadoop2.x时代， 增加了Yarn。 Yarn只负责资 源 的 调 度 ，MapReduce 只负责运算。
Hadoop3.x在组成上没有变化

HDFS 架构

Hadoop Distributed File System，简称 HDFS，是一个分布式文件系统

• NameNode（nn） ：存储文件的元数据， 如文件名， 文件目录结构， 文件属性（ 生成时间、 副本数、文件权限） ， 以及每个文件的块列表和块所在的DataNode等

• DataNode(dn)：在本地文件系统存储文件块数据， 以及块数据的校验和

• Secondary NameNode(2nn)： 每隔一段时间对NameNode元数据备份

MapReduce 架构

MapReduce 将计算过程分为两个阶段： Map 和 Reduce

• Map 阶段并行处理输入数据

• Reduce 阶段对 Map 结果进行汇总

YARN 架构

Yet Another Resource Negotiator 简称 YARN ，另一种资源协调者， 是 Hadoop 的资源管理器

• ResourceManager（ RM） ：整个集群资源（ 内存、 CPU等） 的老大

• NodeManager（ NM） ：单个节点服务器资源老大

• ApplicationMaster（ AM） ：单个任务运行的老大

• Container：容器，相当一台独立的服务器，里面封装了任务运行所需要的资源， 如内存、 CPU、磁盘、网络等。

Note :

• 客户端可以有多个
• 集群上可以运行多个 ApplicationMaster
• 每个 NodeManager 上可以有多个 Container

大数据技术生态体系

• Sqoop： Sqoop 是一款开源的工具，主要用于在 Hadoop、 Hive 与传统的数据库（MySQL）间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL， Oracle 等）中的数据导进到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导进到关系型数据库中

• Flume： Flume 是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume 支持在日志系统中定制各类数据发送方，用于收集数据

• Kafka： Kafka 是一种高吞吐量的分布式发布订阅消息系统

• Spark： Spark 是当前最流行的开源大数据内存计算框架。可以基于 Hadoop 上存储的大数据进行计算

• Flink： Flink 是当前最流行的开源大数据内存计算框架。 用于实时计算的场景较多

• Oozie： Oozie 是一个管理 Hadoop 作业（job）的工作流程调度管理系统

• Hbase： Hbase 是一个分布式的、面向列的开源数据库。 Hbase 不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库

• Hive： Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的 SQL 查询功能，可以将 SQL 语句转换为MapReduce 任务进行运行。其优点是学习成本低，可以通过类 SQL 语句快速实现简单的 MapReduce 统计，不必开发专门的 MapReduce 应用，十分适合数据仓库的统计分析

• ZooKeeper：它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等

推荐系统框架图

配置服务器 修改服务器名 修改主机名称

vim /etc/hostname

查看主机名称

cat /etc/hostname

修改映射 hosts 文件

修改所有电脑的 hosts 文件

修改映射 hosts 文件

vim /etc/hosts

查看映射 hosts 文件

cat /etc/hosts

安装 epel-release

Extra Packages for Enterprise Linux 是为“红帽系”的操作系统提供额外的软件包，适用于 RHEL、 CentOS 和 Scientific Linux。相当于是一个软件仓库， 大多数 rpm 包在官方 repository 中是找不到的）

yum install -y epel-release

安装 net-tool

工具包集合，包含 ifconfig 等命令

安装 vim

编辑器

yum install -y vim

关闭防火墙

systemctl stop firewalld

关闭防火墙开机自启

systemctl disable firewalld.service

创建文件夹

在/opt 目录下创建文件夹

cd /opt

mkdir module

mkdir software

卸载虚拟机自带的 JDK 重启服务器

reboot

Hadoop 运行模式 本地运行模式 完全分布式运行模式