栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Flink 1.12 CDH 6.3 集成

Flink 1.12 CDH 6.3 集成

之前记录的:Flink 1.9 CDH 6.3 集成
有些下载链接可能被官方关闭了,这里介绍1.12版本集成,并把安装包下载地址换为百度网盘链接

下载安装包
链接: https://pan.baidu.com/s/112fiaaMAMMXMsyiTDh3qjg 
提取码: ar5f 

安装包内容

Flink-1.12.1-BIN-SCALA_2.12-el7.parcel
Flink-1.12.1-BIN-SCALA_2.12-el7.parcel.sha
Flink_ON_YARN-1.12.1.jar
manifest.json
安装 第一步

将Flink_ON_YARN-1.12.1.jar放到 /opt/cloudera/csd目录下

第二步

在我们安装httpd服务 /var/www/html目录下创建flink目录,将下面三个文件放在flink目录下

Flink-1.12.1-BIN-SCALA_2.12-el7.parcel
Flink-1.12.1-BIN-SCALA_2.12-el7.parcel.sha
manifest.json

第三步 修改httpd服务

参考:https://datamining.blog.csdn.net/article/details/121630806
新增 .parcel配置

[root@localhost bigdata]# vim /etc/httpd/conf/httpd.conf

#在模块添加 parcel选项


   #
   # TypesConfig points to the file containing the list of mappings from
   # filename extension to MIME-type.
   #
   TypesConfig /etc/mime.types

   #
   # AddType allows you to add to or override the MIME configuration
   # file specified in TypesConfig for specific file types.
   #
   #AddType application/x-gzip .tgz
   #
   # AddEncoding allows you to have certain browsers uncompress
   # information on the fly. Note: Not all browsers support this.
   #
   #AddEncoding x-compress .Z
   #AddEncoding x-gzip .gz .tgz
   #
   # If the AddEncoding directives above are commented-out, then you
   # probably should define those extensions to indicate media types:
   #
   AddType application/x-compress .Z
   AddType application/x-gzip .gz .tgz .parcel #此处添加.parcel

   #

重启http服务

[root@localhost bigdata]#systemctl restart httpd
3.配置CDH Flink Parcel


点击配置进入,新增flink链接

确认后会在parcel中出现flink,如下图
PS:这里截图是之前版本的

点击下载

点击分配

点击激活

激活成功

添加服务

添加Flink

选择需要安装节点点击继续
注意这里安装一个节点就行,yarn模式都是在yarn中运行

启动成功

问题解决 NoClassDefFoundError: org/apache

启动flink时失败,日志报错招不到Yarn的jar包

kerberos login configuration is invalid


原因是因为配置了kerberos,上面安装包默认的配置,这个要删除掉

相关资料文档:

  1. Flink1.12.3+CDH6.3.1集成.docx
    链接: https://pan.baidu.com/s/1QaaihgJM7QDO7yRzi4xbCg
    提取码: 97n2*
  2. https://blog.csdn.net/weixin_43215250/article/details/105725330
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/630392.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号