栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hadoop集群搭建

Hadoop集群搭建

虚拟机安装

目录

虚拟机安装

        虚拟机克隆

Linux系统网络配置

        主机名 与IP映射 

网络参数配置

        配置网卡设备的Mac地址

ssh服务配置

haodoop集群部署模式

JDK安装、

Hadoop安装

Hadoop集群配置

格式化文件系统

启动和关闭Hadoop集群

通过UI界面查看Hadoop


        安装包

        VMware安装步骤

        选稍后安装

 一直下一步。是一台裸机,并未安装操作系统。

 虚拟机启动初始化

选择skip

选择使用所有空间

 选择基础服务器

 

 安装中

 

安装完成,登录

 

输入创建目录命令并执行 

data 目录放以后相关数据文件

servers 目录放软件安装目录

software目录放软件安装包

mkdir -p /export/data

mkdir -p /export/servers

mkdir -p /export/software

        虚拟机克隆

采用完整克隆的方式

 

克隆到Hadoop03 

Linux系统网络配置

        主机名 与IP映射 

                1、修改主机名

vi /etc/sysconfig/network

HOSTNAME=Hadoop02

HOSTNAME=Hadoop03

       2、 查看IP可选范围,并配置IP映射

vi /etc/hosts

192.1.16.144 Hadoop01

192.1.16.145 Hadoop02

192.1.16146 Hadoop03

后来我改成了 

192.1.16.146 Hadoop01

192.1.16.147 Hadoop02

192.1.16.148 Hadoop03

网络参数配置

        配置网卡设备的Mac地址

                主要配置Hadoop02 03

  vi    /etc/udev/rules.d/70-persistent-net-rules

   

    配置静态IP地址

vi  /etc/sysconfig/network-scripts/ifcfg-eth0

原来的

配置静态IP后

 

        配置效果验证 

                重启

ssh服务配置

        

1、SSH远程登录功能配置 

        安装并开启SSH服务 

        rpm -qa | grep ssh

        查看是否开启SSH服务

        ps -e | grep sshd 

虚拟机远程连接工具CRT

SSH公钥密钥原理

haodoop集群部署模式

        独立模式  伪分布式  完全分布式

JDK安装、

 

 

Hadoop安装

 一些目录

Hadoop集群配置

 ​​​​​​​

 

 

 

 

 

 

 

格式化文件系统

启动和关闭Hadoop集群

 单个节点逐个启动

启动主节点namenode

 

 

 jps查看是否启动成功

启动resourcemanager 

 

 

 关闭把start换成stop

脚本一键启动

 

 

通过UI界面查看Hadoop

 在Windows里配置主机ip映射,以便在Windows访问hadoop服务

路径在C盘/Windows/System32/drivers/etc/hosts

另外要在Hadoop里关闭防火墙

service iptables stop

chkconfig iptables off   禁止开机启动

 

 

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/747556.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号