CDH6环境下KYLIN4.0单节点安装

前提要素官网地址Kylin安装

Hadoop客户端节点环境配置

准备工作敲命令下载CDH配置配置cdh客户端配置环境变量profile文件验证cdh客户端配置 安装KYLIN程序 QA

已有CDH6.3.2集群，准备好对应版本的parcel包(CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel)一台与CDH集群网络互通的CentOS7.9虚机（4C16G起）下载spark包Spark4.2.7（备用，因为本文是在新客户端节点安装Kylin）下载kylin包Kylin-4.0.1下载KylinOnCDH6依赖包

Kylin官网
https://kylin.apache.org/cn/docs/gettingstarted/kylin-quickstart.html

官方说明：Kylin 可以在 Hadoop 集群的任意节点上启动。方便起见，您可以在 master 节点上运行 Kylin。但为了更好的稳定性，我们建议您将 Kylin 部署在一个干净的 Hadoop client 节点上。
所以本文选择在一个干净的 Hadoop client 节点上安装Kylin。

CentOS7.9JDK1.8cdh的parcels上传到服务器随便建个目录

mkdir -p /opt/cloudera/parcels
cd /opt/cloudera/parcels
把CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel这个包移动到这个目录下
tar -zxvf CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
ln -s CDH-6.3.2-1.cdh6.3.2.p0.1605554 CDH

效果图如下

从已有的CDH集群中下载配置文件，并上传服务器

下载hive-clientconfig.zip(hive配置文件中已经包含了hdfs和yarn、mapreduce等)
配置cdh客户端

mkdir -p /opt/cloudera/etc/
cd /opt/cloudera/etc/
把hive-clientconfig.zip传到这个目录下
unizp hive-clientconfig.zip

# hadoop env
export HADOOP_HOME=/opt/cloudera/parcels/CDH
export HADOOP_CONF_DIR=/opt/cloudera/etc/hive-conf
export CDH_MR2_HOME=$HADOOP_HOME/lib/hadoop-mapreduce
export JAVA_LIBRAY_PATH=/opt/cloudera/parcels/CDH/lib/hadoop/lib/native
export HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH/lib/jars/*

# hive env
export HIVE_HOME=/opt/cloudera/parcels/CDH/lib/hive
export HCAT_HOME=/opt/cloudera/parcels/CDH
export HIVE_CONF_DIR=/opt/cloudera/etc/hive-conf
export HIVE_CONF=/opt/cloudera/etc/hive-conf

# yarn env
export YARN_CONF_DIR=/opt/cloudera/etc/hive-conf

# spark env
export SPARK_HOME=/data/apache-kylin-4.0.1-bin-spark2/spark

# kafka env
export KAFKA_HOME=/opt/cloudera/parcels/CDH/lib/kafka

# zookeeper env
export ZOOKEEPER_HOME=/opt/cloudera/parcels/CDH/lib/zookeeper

# kylin env
export KYLIN_HOME=/data/apache-kylin-4.0.1-bin-spark2

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_CONF_DIR:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$HCAT_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$KAFKA_HOME/bin:$ZOOKEEPER_HOME/bin:/$KYLIN_HOME/bin

unset HADOOP_HOME

其中kylin和spark环境是之后才配置上的，请注意路径
使用命令使之生效

source /etc/profile

hadoop fs -ls /

hive
show databases;

命令效果如图

准备好依赖包

hive-exec-1.21.2.3.1.0.0-78.jarstax2-api-3.1.4.jarcommons-configuration-1.10.jarmysql-connector-java-5.1.49.jar

解压 kylin的tar 包，配置环境变量 $KYLIN_HOME 指向 Kylin 文件夹（配置环境变量profile文件）。

tar -zxvf apache-kylin-4.0.1-bin-spark2.tar.gz
cd apache-kylin-4.0.1-bin-spark2
export KYLIN_HOME=`pwd`

依赖包放到各自位置

cd $KYLIN_HOME
### 1. Prepare specific jars for CDH6
mkdir -p bin/hadoop3_jars/cdh6
cp commons-configuration-1.10.jar lib/
cp hive-exec-1.21.2.3.1.0.0-78.jar bin/hadoop3_jars/cdh6
cp stax2-api-3.1.4.jar bin/hadoop3_jars/cdh6
 
### 2. Prepare mysql driver
mkdir ext
cp mysql-connector-java-5.1.49.jar ext/

将下载的spark 二进制包解压后放置在 KYLIN_HOME目录下，并重命名为 spark。
配置SPARK_HOME指向环境中的 spark2.4.7（配置环境变量profile文件）。

修改配置文件

vim conf/kylin.properties

kylin.metadata.url=kylin_metadata@jdbc,url=jdbc:mysql://localhost:3306/kylin,username=root,password=Root_123456,maxActive=10,maxIdle=10
kylin.env.hdfs-working-dir=/kylin
kylin.env.zookeeper-base-path=/kylin
kylin.env.zookeeper-is-local=false
kylin.env.zookeeper-connect-string=master:2181
kylin.env.hadoop-conf-dir=/opt/cloudera/etc/hive-conf

kylin.metadata.url中记得按实际情况改url、username和password

Kylin环境检测

$KYLIN_HOME/bin/check-env.sh

以上基本完成部署，过程中可能会出现一些问题，部分可能碰到过的可以看QA（已踩过的坑）。

使用步骤请看官网
https://kylin.apache.org/cn/docs/tutorial/web.html

Q: 验证的时候出现权限问题，如无法新建kylin文件夹
A: 权限问题，加一个HADOOP_USER_NAME=hdfs的环境

vim /etc/profile
export HADOOP_USER_NAME=hdfs
source /etc/profile