StreamX1.2.1+flink1.12.7 平台部署

StreamX1.2.1+flink1.12.7 平台部署 1. 必须环境准备

StreamX最新版本1.2.1支持用户上传jar包的方式运行代码，目前支持flink版本为1.12以上前后端混合编译得到StreamX最新安装包 streamx-console-service-1.2.1-bin.tar.gzhadoop环境准备flink安装包准备，本例使用flink1.12.7 https://dlcdn.apache.org/flink/flink-1.12.7/flink-1.12.7-bin-scala_2.11.tgz 2. 安装机器环境变量配置

如果是使用cdh安装的hadoop，可以参考以下配置

export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop #hadoop 安装目录
export HADOOP_CONF_DIR=/etc/hadoop/conf
export HIVE_HOME=$HADOOP_HOME/../hive
export Hbase_HOME=$HADOOP_HOME/../hbase
export HADOOP_HDFS_HOME=$HADOOP_HOME/../hadoop-hdfs
export HADOOP_MAPRED_HOME=$HADOOP_HOME/../hadoop-mapreduce
export HADOOP_YARN_HOME=$HADOOP_HOME/../hadoop-yarn

3. 安装StreamX

# 1.自行新建mysql数据库 streamx

# 2.解压安装包  
tar -zxvf streamx-console-service-1.2.1-bin.tar.gz -C /opt/dp/

# 3.进入目录
cd /opt/dp/streamx-console-service-1.2.1

# 4.将以下脚本在mysql中运行，创建表结构，初始化数据
├── script
│     ├── final                 // 完整的ddl建表sql
│     ├── upgrade               // 每个版本升级部分的sql(只记录从上个版本到本次版本的sql变化)

# 5.修改配置
进入到 conf 下，修改 conf/application.yml,找到 datasource 这一项，找到 mysql 的配置，修改成对应的信息即可

# 6.启动后端
cd streamx-console-service-1.0.0/bin
bash startup.sh

4. 安装flink

解压安装包flink-1.12.7-bin-scala_2.11.tgz 到/opt/dp目录下

修改配置flink-1.12.7/conf/flink-conf.yaml，增加以下配置

classloader.check-leaked-classloader: false

5. 登录ui配置flink任务

StreamX1.2.1+flink1.12.7 平台部署

大数据系统相关栏目本月热门文章