使用 Apache Kylin 中遇到的问题汇总

问题1问题2问题3问题4问题5

安装启动 kylin 时报出现 Please make sure the user has the privilege to run hbase shell

没有在 /etc/profile 中配置 Hbase_HOME 环境变量

在构建 cube 时，出现 org.apache.kylin.engine.mr.exception.MapReduceException: Exception: java.net.ConnectException: Call From dxt102/192.168.1.102 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: 拒绝连接。

说明未启动 JobHistoryServer，执行 $HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver 启动。

在构建 cube 时，进度卡在 60% 多，报错，查看日志出现 ERROR [main] org.apache.kylin.engine.mr.KylinReducer:java.lang.NoSuchMethodError: org.apache.hadoop.fs.FileSystem.setStoragePolicy(Lorg/apache/hadoop/fs/Path;Ljava/lang/String;)V。

最后使用的版本是kylin3.1.3、hadoop2.7.3、hbase1.7.1、hive2.3.9

将 hbase 版本改为 1.6.0 就没有出现这个错误，执行成功。

参考这个链接：https://issues.apache.org/jira/browse/KYLIN-5107

在测试样例和测试计算留存率构建 cube 时，又出现了这个问题。

将 kylin 版本改成 2.5.0，没有出现这个错误，但出现 mr.exception.MapReduceException: no counters for job job_1642574471995_0010

【TODO】

使用 docker 运行可以成功运行。

刚入门最好使用 docker 运行 kylin，这样可以避免很多环境问题。

在构建 cube 时，出现 Error: java.io.IOException: java.lang.reflect.InvocationTargetException Caused by: java.io.EOFException: Premature EOF from inputStream

因为在 hadoop 中设置了中间结果和输出结果启用压缩，在 hive 中未设置。

可以在 hive 中启用，或者删除 hadoop 中关于启用压缩的配置。

   hive.exec.compress.intermediate
   true


   hive.intermediate.compression.codec
   com.hadoop.compression.lzo.LzopCodec


   hive.intermediate.compression.type
   BLOCK


  hive.exec.compress.output
  true


   mapreduce.output.fileoutputformat.compress
   true


   mapreduce.output.fileoutputformat.compress.codec
   com.hadoop.compression.lzo.LzopCodec


   mapreduce.output.fileoutputformat.compress.type
   BLOCK

在使用 spark 引擎构建 cube 时，出现 Caused by: java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo.LzoCodec not found.

在 hadoop 中配置了 lzo，所以当使用 yarn 模式时，spark 自身没有 lzo 的 jar 包所以无法找到。这是因为在 hadoop 的 core-site.xml 和 mapred-site.xml 中开启了压缩，并且压缩是 lzo 的。这就导致写入上传到 hdfs 的文件自动被压缩为 lzo 了。而 spark 没有 lzo 这个 jar 包，所以无法被找到。

解决方法很简单：

ln -s  /opt/module/hadoop-2.7.2/share/hadoop/common/hadoop-lzo-0.4.20.jar /opt/module/spark-2.1.1-bin-hadoop2.7/jars/hadoop-lzo-0.4.20.jar

软连接过去就可以了。

或者配置 spark-default.conf 如下即可：

spark.jars=/opt/module/hadoop-2.7.2/share/hadoop/common/hadoop-lzo-0.4.20.jar

原文链接：https://blog.csdn.net/Lcumin/article/details/113096793