栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Hadoop:ambari安装Flink服务

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Hadoop:ambari安装Flink服务

1.安装git 查看是否安装了git
git --help
如果没有git,那就安装
yum install git
2.设置version变量
VERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - ([0-9].[0-9]).*/1/'`

echo $VERSION
3.下载ambari-flink-service服务
sudo git clone https://github.com.cnpmjs.org/abajwa-hw/ambari-flink-service.git   /var/lib/ambari-server/resources/stacks/HDP/$VERSION/services/Flink

要点:直接http://github.com运行不通,需要将其替换为镜像网站:https://github.com.cnpmjs.org

4.配置本地下载源

通过链接下载好文件:

http://archive.apache.org/dist/flink/flink-1.9.1/flink-1.9.1-bin-scala_2.11.tgz

https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/2.6.5-7.0/flink-shaded-hadoop-2-uber-2.6.5-7.0.jar

创建flink本地源文件夹

cd /var/www/html/
mkdir flink

然后将文件放到/var/www/html/flink文件夹下

5.修改要下载的flink版本(可以直接默认则跳过本步骤,如果需要则修改)
vim /var/lib/ambari-server/resources/stacks/HDP/2.6/services/Flink/metainfo.xml

找到版本设置,修改为你想要的版本:

1.9.1
6.修改下载地址(针对2.6版本)
vim /var/lib/ambari-server/resources/stacks/HDP/2.6/services/Flink/configuration/flink-ambari-config.xml

将其中的:


    flink_download_url
    http://www.us.apache.org/dist/flink/flink-1.9.1/flink-1.9.1-bin-scala_2.11.tgz
    Snapshot download location. Downloaded when setup_prebuilt is true

改为:


    flink_download_url
    http://主节点ip地址/flink/flink-1.9.1-bin-scala_2.11.tgz
    Snapshot download location. Downloaded when setup_prebuilt is true

如果前面修改过版本,这里需要将链接里面的版本同步 7.重启ambari服务
ambari-server restart
8.在ambari可视化界面里面安装flink

进入控制页面,点击“admin”,在Stack and Versions里面找到Flink服务,点击Add Service安装。

一直next到Customize Services后在Advanced flink-env里面的content最底下找到

env.java.home: /usr/jdk64/jdk1.8.0_77/jre

改为

env.java.home: /usr/java/jdk1.8.0_141/ #此处为你电脑里面的Java环境目录

然后到Custom flink-env下点击Add Property并在窗口添加

yarn.client.failover-proxy-provider=org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider

然后一直点击下一步直到安装完成

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/324460.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号