栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Livy安装使用

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Livy安装使用

本次部署的livy是0.7.0版,zip包下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/incubator/livy/0.7.0-incubating/apache-livy-0.7.0-incubating-bin.zip

安装java jdk1.8

步骤:

一、将下载好的livy的zip包用命令unzip去解压(如果没有安装unzip,用yum -y install unzip指令安装),解压完得到相应软件目录。

        

 

二、进入apache-livy-0.7.0-incubating-bin/conf/文件夹,执行 cp livy-env.sh.template livy-env.sh命令从模板中拷贝一份环境配置文件。

        

三、使用vim livy-env.sh指令修改环境配置文件:写入如下配置(HADOOP_CONF_DIR和SPARK_HOME位置要根据实际情况来配置)

export HADOOP_CONF_DIR=/etc/hadoop
export SPARK_HOME=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/spark
export LIVY SERVER JAVA OPTS="-XmX2G"

 四、执行cp livy.conf.template livy.conf命令拷贝一份配置文件。

                

 五、使用vim livy.conf指令在配置文件尾部写入如下配置:

livy.spark.master = yarn
livy.spark.deploy-mode = client
livy.server.session.timeout = 1h
livy.server.yarn.poll-interval = 5s

六、在apache-livy-0.7.0-incubating-bin目录下使用bin/livy-server start指令启动livy服务

(注意:启动livy服务之前zookeeper服务和hadoop服务必须先已经启动)

可使用bin/livy-server status命令查看当前livy服务是否启动。

                

 七、web界面地址:ip:8998/ui

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/724018.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号