栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

hadoop环境服务修复及hive整合

hadoop环境服务修复及hive整合

hadoop环境服务修复

还没上班就看群里说园区断电,然后就有服务器断电后

启动hadoop集群服务显示

(大多数原因是某个组件崩了)

-- process information unavailable

运行以下命令

rm -rf /tmp/hsperfdata_*
然后重启服务

在一键启动hadoop后(./start-all.sh ),服务没起来,额,似乎没啥用

emm 服务关闭 后 在重新启动后 发现 没有namenode

那就查看日志

和昨天晚上 的错误 如出一辙 ,namnode元数据 有问题,网上查看很多解决方法,目前我用的这种 最高效,但是伴随着的弊端就是 有重要数据就无法恢复了,大家可以找到自己合适的方法进行操作;于是 我还是把core-size.xml中配置的文件路径对应的文件全部删除,之后格式化

我的 路径 是这个
/export/servers/hadoop-2.7.2/hadoopDatas
于是 
rm -rf /export/servers/hadoop-2.7.2/hadoopDatas/
********************
 提示:删除命令在充分沟通并同意的情况下才能使用,慎用,我这边是测试环境没啥重要数据
********************

格式化
hadoop namenode -format  

然后启动发现

./start-all.sh


emm 服务都有了 证明启动成功了

再查看其他两个机器 的 jps

初步判断已经启动 了

再看webui

输入 机器IP:50070
因为 需要连接 vpn 使用机器 ip进行连接 ,本机 的话直接node1:50070 了

拿出几点自认为判断是否成功的,目前来看是没啥问题了

over!!!

查看 hdfs

hdfs  dfs  -ls  /

发现没报错 ,正常 ,主要是没数据啦

hadoop整合hive

那开始hadoop整合hive,之前 版本 是 1.2.1 是可用 的

因为之前的profile配置都有整 过 ,但是hadoop重新弄过了 ,那 hive的 相关配置也顺便 过一下

 vi /etc/profile

vim hive-env.sh

vim   hive-size.xml

hadoop格式化后hdfs路径可能找不到或者不存在了,还是创建下吧

新建目录
hdfs dfs  -mkdir -p /user/hive/warehouse   
mkdir /export/servers/hive-1.2.1-bin/tmp
设置权限
hdfs  dfs  -chmod 733 /tmp
hdfs  dfs  -chmod 733 /user/hive/warehouse
## 启动hive并测试
a) 启动hive: hive
b) 查看hive数据表: show  tables;

然后再测试使用脚本进入hive:

expect /export/script/beenline_hive.exp
即 beeline连接hiveserver2
--执行

应该是服务没启动 很尴尬

先启动 metastore 服务

后台启动   
nohup ./hive --service metastore &

再启动hive2服务

后台启动   
nohup ./hive --service hiveserver2 &

jps查看是否 开启 runjar

在beeline连接hiveserver2

expect /export/script/beenline_hive.exp

最后用数据库连接工具连接验证

我用的 连接工具 是 DBvaver 根据自己喜好连接
希望额可以 帮助到大家!!!
以上 over !!!

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/434070.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号