CDH 离线安装spark2.3

一、安装准备 1、下载csd包

wget http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.3.0.cloudera2.jar

2、下载parcel包

wget http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera2/SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel
wget http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera2/SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel.sha1
wget http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera2/manifest.json

3、停止cdh server、agent

/opt/cloudera-manager/cm-5.13.3/etc/init.d/cloudera-scm-agent stop
/opt/cloudera-manager/cm-5.13.3/etc/init.d/cloudera-scm-server stop

4、拷贝spark包

#上传CSD包到机器的/opt/cloudera/csd目录，并且修改文件的用户和组。注意如果本目录下有其他的jar包，把删掉或者移到其他目录（所有节点）
mkdir /opt/cloudera/csd

#上传SPARK2_ON_YARN-2.3.0.cloudera2.jar
chown cloudera-scm:cloudera-scm  SPARK2_ON_YARN-2.3.0.cloudera2.jar
chmod 644 SPARK2_ON_YARN-2.3.0.cloudera2.jar

5、上传parcel包

#上传parcel包到机器的/opt/cloudera/parcel-repo目录下。注意，。如果有其他的安装包，不用删除 ，但是如果本目录下有其他的重名文件比如manifest.json文件，把它重命名备份掉。然后把那3个parcel包的文件放在这里。
cp SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel /opt/cloudera/parcel-repo/
cp SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel.sha1 /opt/cloudera/parcel-repo/SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel.sha

cd /opt/cloudera/parcel-repo
mv manifest.json manifest.json.bb
cp manifest.json  /opt/cloudera/parcel-repo

6、启动server、agent

/opt/cloudera-manager/cm-5.13.3/etc/init.d/cloudera-scm-server start
/opt/cloudera-manager/cm-5.13.3/etc/init.d/cloudera-scm-agent start

二、CDH控制台安装 1、安装parcels

（1）主机–>parcels–>配置–>填写url–>检查新的parcel
（2）下载–>分配—>激活

2、添加服务

（1）点击集群按钮旁的添加服务
（2）选择spark2 –>继续
（3）选择依赖
（4）角色分配（Gateway所有主机都要安装）
（5）启动

CDH 离线安装spark2.3

大数据系统相关栏目本月热门文章