栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

腾讯云部署flink集群standalone模式

腾讯云部署flink集群standalone模式

0、准备条件

1、两台服务器,必须要再同一个vpc网络下,用内网地址可以ping通,腾讯云是同一个账号同一个地域的服务器会自动分配到同一个vpc下面(腾讯云稍微便宜点)

2、开放防火墙,一个是安全组规则,一个是firewalld服务

开放安全组

关闭firewalld

systemctl stop firewalld
systemctl disable firewalld

3、编辑 所有服务器的/etc/hosts 文件

4、配置ssh免密登录(可选)

1)生成公钥(会在当前目录生成.ssh文件夹 里面有公私钥)

# 一直回车就行
ssh-keygen

2)发送到其他服务器 (这里会输入其他服务器的密码)

ssh-copy-id -i ~/.ssh/id_rsa.pub root@flink103

3)测试

ssh root@flink103

看到连接上了说明成功了

1、去官网下载安装包flink-1.13.0-bin-scala_2.12.tgz

2、传到服务器上 解压

解压命令 ( -C 指定路径名 没有先创建)

tar -zxvf flink-1.13.0-bin-scala_2.12.tgz -C /opt/module/
3、修改配置文件

修改 /conf/flink-conf.yaml

vi /conf/flink-conf.yaml

修改workers
4、分发到其他服务器

scp -r ./flink-1.13.0 root@flink102:/opt/module

检查一下路径 各个服务器上的flink启动路径一定要一样

5、启动/关闭 (运行安装包bin下面提供的脚本就行)
./start-cluster.sh
./stop-cluster.sh
6、查看日志

jps查看一下进程

根据进程号查看日志文件路径

# ls /proc/{进程id}/fd    # fd目录介绍
# 此目录包含进程打开的所有文件,文件名为文件描述符,目录中每个软连接都会指向进程打开的实际文件
ll /proc/{进程id}/fd | grep "log"

tail -f 查看日志文件

看到successful多半就是成功了

7、连上网页端(用master节点的公网ip加上端口号8081)

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/775567.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号