栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

CDH5部署三部曲之三:问题总结,java面试逻辑题及答案

CDH5部署三部曲之三:问题总结,java面试逻辑题及答案

  1. 于是安装所需服务:

yum install -y nfs-utils rpcbind

  1. 启动服务:

systemctl start rpcbind

  1. 再次启动:

  1. 等待HDFS服务重启完成后,如下图,可见NFS Gateway问题已经消失:

HDFS副本不足的块
  1. 问题如下图绿框所示:

  1. 目前只有一个datanode,可以增加一个,如下图,进入HDFS的实例页面,点击"添加角色实例":

  1. 点击下图红框位置,增加一个DataNode:

  1. 如下图,确保worker1和worker2都选上:

  1. 勾选后,点击红框2中的按钮,在下拉菜单中点击“启动”:

  1. 现在有了两个DataNode,所以副本数可以设置为2,如下图红框所示,按照顺序找出参数进行设置,记得点击右下角的"保存更改"按钮:

  1. 上述设置完成后,新写入hdfs的文件副本数为2,如果要将之前已经写入的文件的副本数也调整为2,请SSH登录worker1节点,执行以下命令切换到hdfs账号:

su - hdfs

  1. 以hdfs账号的身份执行以下命令,即可完成副本数设置:

hadoop fs -setrep -R 2 /

  1. 返回管理页面,可见HDFS的状态变成了健康:

Hive报错
  1. 如下图红框所示,Hive启动失败,日志中提示Version information not found in metastore

  1. 从上图可见Hive服务在worker2上,于是SSH登录worker2,将/usr/share/java目录下的mysql-connector-java.jar文件复制到这个目录下:/opt/cloudera/parcels/CDH-5.7.6-1.cdh5.7.6.p0.6/lib/hive/lib/

  2. 在Hive的配置页面,搜索"hive.metastore.schema.verification",如下图,确保红框3中的复选框取消勾选:

  1. 修改配置datanucleus.autoCreateSchema,如下图,确保红框3中的复选框被选中:

  1. 重启完成后,Hive状态为健康:

spark-shell执行失败
  1. 在worker1或者worker2上执行spark-shell命令进入spark控制台时,会产生内存相关的错误,需要调整YARM相关的内存参数:

  1. 在YARN的配置页面,调整yarn.scheduler.maximum-allocation-mb和yarn.nodemanager.resource.memory-mb这两个参数的值,原有的值都是1G,现在都改成2G,如下图:

  1. 重启YARN;

  2. 重启Spark;

  3. 执行spark-shell命令之前,先执行命令su - hdfs切换到hdfs账号;

  4. 这次终于成功进入spark-shell交互模式:

Hue启动失败
  1. Hue启动失败如下图:

  1. 上述失败是由于文件夹、文件、httpd服务没有准备好导致的,执行以下命令修复此问题:

mkdir /var/log/hue-httpd/

chown hue:hue /var/log/hue-httpd/

cd /var/log/hue-httpd/

touch error_log

chown hue:hue /var/log/hue-httpd/error_log

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/663407.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号