89.在CDH集群中安装并编译Livy

• CM和CDH版本：5.14.0
• Livy版本：0.4
• 集群未启用Kerberos

1.准备环境

• IP：
  • 186.31.7.186
  • 186.31.30.69
• HOSTNAME
  • ip-186-31-7-186.fayson.com
  • ip-186-31-30-69.ap-southeast-1.compute.internal
• 以上分别为：部署Livy服务节点和Livy编译节点
• 配置Java环境变量，使用CDH集群自带的JDK在/etc/profile文件中增加如下配置：

export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera/
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar:$CLASSPATH

• 安装Maven并配置环境变量，下载Maven：

[ec2-user@ip-186-31-30-69 ~]$ sudo wget http://apache.forsale.plus/maven/maven-3/3.5.2/binaries/apache-maven-3.5.2-bin.tar.gz

• 将Maven解压到指定目录

[ec2-user@ip-186-31-30-69 ~]$ sudo tar -zxvf apache-maven-3.5.2-bin.tar.gz -C /usr/local/

• 配置Maven环境变量，在/etc/profile文件末尾增加如下：

export MVN_HOME=/usr/local/apache-maven-3.5.2
export PATH=$MVN_HOME/bin:$PATH

• 执行命令让环境变量生效并验证配置是否成功

[root@ip-186-31-30-69 ec2-user]# source /etc/profile

• 安装git工具

[root@ip-186-31-30-69 ec2-user]# yum -y install git

执行git命令将livy源码下载至本地

[root@ip-186-31-30-69 ec2-user]# git clone https://github.com/cloudera/livy.git

2.MAVN编译Livy

• git clone的livy目录

[ec2-user@ip-186-31-30-69 ~]$ cd livy/

• 执行如下命令

[root@ip-186-31-30-69 livy]# export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
[root@ip-186-31-30-69 livy]# mvn package skipPySpark3Tests

3.Livy配置

• 把livy目录移动到/opt/cloudera目录下

[root@ip-186-31-7-186 ~]# mv livy/ /opt/cloudera/
[root@ip-186-31-7-186 ~]# cd /opt/cloudera/livy
[root@ip-186-31-7-186 livy]# pwd

• 创建livy用户、log目录并将livy的home目录属主修改为livy:hadoop

[root@ip-186-31-7-186 livy]# useradd livy -g hadoop
[root@ip-186-31-7-186 livy]# mkdir /var/log/livy
[root@ip-186-31-7-186 livy]# mkdir /var/run/livy
[root@ip-186-31-7-186 livy]# chown livy:hadoop /var/log/livy
[root@ip-186-31-7-186 livy]# chown livy:hadoop /var/run/livy
[root@ip-186-31-7-186 livy]# chown -R livy:hadoop /opt/cloudera/livy/
[root@ip-186-31-7-186 livy]# ll /opt/cloudera/

• 在/opt/cloudera/livy/conf目录下创建livy.conf、livy-env.sh、spark-blacklist.conf配置文件

[root@ip-186-31-7-186 livy]# cd conf/
[root@ip-186-31-7-186 conf]# scp livy-env.sh.template livy-env.sh
[root@ip-186-31-7-186 conf]# scp spark-blacklist.conf.template spark-blacklist.conf
[root@ip-186-31-7-186 conf]# scp livy.conf.template livy.conf
[root@ip-186-31-7-186 conf]# chown livy:hadoop livy.conf livy-env.sh spark-blacklist.conf
[root@ip-186-31-7-186 conf]# ll

• 修改livy.conf配置文件，在文件末尾增加如下：
  • 配置Spark作业提交模式
  • 配置livy启用模拟用户提交作业
  • 配置livy恢复模式
    • 默认为空、支持FileSystem本地文件系统及HDFS文件系统、Zookeeper

livy.spark.master = yarn
livy.spark.deployMode = cluster
livy.environment = production
livy.impersonation.enabled = true
livy.server.csrf_protection.enabled true
livy.server.port = 8998
livy.server.session.timeout = 3600000
livy.server.recovery.mode = recovery
livy.server.recovery.state-store=filesystem
livy.server.recovery.state-store.url=/tmp/livy

• 修改livy-env.sh配置文件，增加Haoop和Spark的配置信息：
  • 配置HADOOP、SPARK、JAVA等环境变量

export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
export SPARK_CONF_DIR=/etc/spark/conf
export SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark
export HADOOP_CONF_DIR=/etc/hadoop/conf
export LIVY_LOG_DIR=/var/log/livy
export LIVY_PID_DIR=/var/run/livy
export LIVY_SERVER_JAVA_OPTS="-Xmx2g"

• 修改spark-blacklist.conf如下：

[root@ip-186-31-30-69 conf]# vim spark-blacklist.conf
#
# Configuration override / blacklist. Defines a list of properties that users are not allowed
# to override when starting Spark sessions.
#
# This file takes a list of property names (one per line). Empty lines and lines starting with "#"
# are ignored.
#
# Disallow overriding the master and the deploy mode.
spark.master
spark.submit.deployMode
# Disallow overriding the location of Spark cached jars.
spark.yarn.jar
spark.yarn.jars
spark.yarn.archive
# Don't allow users to override the RSC timeout.
livy.rsc.server.idle-timeout

4.修改Hadoop配置

• 从CM进入HDFS服务的配置项
• 在“core-site.xml 的群集范围高级配置代码段（安全阀）”配置项增加如下：

    hadoop.proxyuser.livy.groups
    *


    hadoop.proxyuser.livy.hosts
    *

• 在HDFS上创建livy的home目录

[root@ip-186-31-7-186 conf]# sudo -u hdfs hadoop fs -mkdir /user/livy
[root@ip-186-31-7-186 conf]# sudo -u hdfs hadoop fs -chown livy:supergroup /user/livy
[root@ip-186-31-7-186 conf]# sudo -u hdfs hadoop fs -ls /user

5.Livy服务启停

• 启动Livy服务

[root@ip-186-31-7-186 ~]# sudo -u livy /opt/cloudera/livy/bin/livy-server start

• 查看服务是否已启动

[root@ip-186-31-7-186 ~]# lsof -i:8998
[root@ip-186-31-7-186 ~]# netstat -apn |grep 8998
[root@ip-186-31-7-186 ~]# ps -ef |grep 13397

• 停止Livy服务

[root@ip-186-31-7-186 ~]# sudo -u livy /opt/cloudera/livy/bin/livy-server stop

• 可以通过浏览器可以查看Livy的Web界面

6.总结

• 部署Livy的节点需要安装CDH的GateWay工具
• Livy工程的编译的依赖环境需要配置否则在编译时会报错

大数据视频推荐：
CSDN
大数据语音推荐：
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能：深度学习入门到精通