栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 系统运维 > 运维 > Linux

大数据平台HDP3.1.4(Ambari2.7.4)安装

Linux 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

大数据平台HDP3.1.4(Ambari2.7.4)安装

本文介绍使用HDP3.14+Ambari2.7.4安装,如果想使用其他的版本,可以去官网查询版本适配

Cloudera Support Matrix

另外,官网也有详细的指导安装流程,可以参照官网Installation

文章目录

文章简介

HADOOP主要有3个版本,

  • Apache:原生版本,所有发行版均基于这个版本进行改进,
  • Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称CDH)
  • Hortonworks版本(Hortonworks Data Platform,简称HDP,现已被CDH收购)

准备工作

机器节点3台
安装包ambari,HDP,HDP-UTILS

准备明细

三台机器环境及设置

3台节点均为centos7系统,分别为hdp01,hdp02,hdp03

修改本机名

hostnamectl set-hostname hdp01

设置好之后可以查看修改之后的本机名

hostname

三台机器都 vim /etc/hosts文件,使3台机器之间可以通过hdp01,hdp02,hdp03访问

ip1 hdp01
ip2 hdp02
ip3 hdp03

修改完之后,测试是否可以通过ping主机名找到对应服务器

ping ip1

2.安装包

ambari和hdp的包比较大,且因为是国外的网站下载速度感人,最不幸的是现在hdp官网已经要收费了,所以我们使用迅雷下载

http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.4.0/ambari-2.7.4.0-centos7.tar.gz

http://public-repo-1.hortonworks.com/HDP/centos7/3.x/updates/3.1.4.0/HDP-3.1.4.0-centos7-rpm.tar.gz

http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gz

下载好之后,上传到hdp这一台服务器就好,不用上传到另外2台服务器

3.环境

  • 三台机器都安装好java8
  • hdp01这台机器安装mysql7
  • hdp01到hdp02,hdp03的免密登录

4.安装

1.hdp01安装httpd服务

yum -y install httpd #安装

systemctl start httpd #启动

systemctl status httpd #查看启动状态

chkconfig httpd on #设置开机启动

2.httpd安装好之后,可以看到原来目录下有了/var/www/html这个目录

我们把上传的ambari,HDP,HDP-UTILS都解压到这个目录下

tar -zxvf ambari-2.7.4.0-centos7.tar.gz -C /var/www/html/
tar -zxvf HDP-3.1.4.0-centos7-rpm.tar.gz -C /var/www/html/
tar -zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz -C /var/www/html/

3.配置基础源

在/etc/yum.repos.d/目录下

创建ambari.repo

[ambari-2.7.4.0]
name=ambari
baseurl=http://hdp01/ambari/centos7/2.7.4.0-118
gpgkey=http://hdp01/ambari/centos7/2.7.4.0-118/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
gpgcheck=1
enabled=1
priority=1

[HDP-3.1.4.0]
name=HDP Version - HDP-3.1.4.0
baseurl=http://hdp01/HDP/centos7/3.1.4.0-315/
gpgcheck=1
gpgkey=http://hdp01/HDP/centos7/3.1.4.0-315/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-UTILS-1.1.0.22]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.22
baseurl=http://hdp01/HDP-UTILS/centos7/1.1.0.22/
gpgcheck=1
gpgkey=http://hdp01/HDP-UTILS/centos7/1.1.0.22/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

安装createrepo:

yum install yum-utils createrepo yum-plugin-priorities -y

生成本地源

createrepo  ./

清除yum缓存

yum clean all
yum makecache
yum repolist

将前面创建的ambari.repo复制到hdp02,hdp03

scp ambari.repo hdp02:$PWD
scp ambari.repo hdp03:$PWD

安装ambari-server

在hdp01执行

yum -y install ambari-server

初始化ambari

ambari-server setup

在前面安装好的数据库中创建ambari数据库,并初始化数据库ambari库

create database ambari;
use ambari;
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

启动ambari,服务启动成功会监听8080端口,失败的话可以查看日志/var/log/ambari-server/ambari-server.log

ambari-server start

使用浏览器登录,账号密码admin/admin正常登录,则安装完成

点击LAUNCH INSTALL WIZARD

给集群起个名字

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/618338.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号