[hbase] 重启后hmaster消失

报错

重启hbase出现错误

FATAL [xxx:port.activeMasterManager] master.HMaster: Failed to become active master
    java.net.ConnectException: Call From xxx to xxx:port failed on connection exception: java.net.ConnectException: Connection refused;

分析

查看日志发现hdfs未启动，hbase连接hadoop失败

查看hadoop日志，发现nodemanger无法启动，因为机器不满足NodeManager的最小需求配置yarn-site.xml，其他服务占据了内存

org.apache.hadoop.yarn.exceptions.YarnRuntimeException: 
Recieved SHUTDOWN signal from Resourcemanager ,Registration of NodeManager failed, 
Message from ResourceManager: 
NodeManager from  xxx doesn't satisfy minimum allocations, Sending SHUTDOWN signal to the NodeManager.

修改了可管理内存和可用cpu核心数量最小需求配置后NodeManager成功启动，但依旧未监听hdfs端口

可能是未配置rpc， 尝试修改rpc和defaultFs，无效

再检查hadoop-namenode日志发现

org.apache.hadoop.hdfs.server.namenode.EditLogInputException: Error replaying edit log at offset 0.  Expected transaction ID was xxx

Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded

检查了下fsimange和edit文件，发现存在大量edits文件，可能是因为edit太大无法完成加载

通过修改hadoop-env.sh，调高HADOOP_NAMENODE_INIT_HEAPSIZE和HADOOP_NAMENODE_OPTS成功加载edits文件

解决

1. 首先确认机器可用内存和cpu是否满足最小需求，不满足需要修改yarn-site.xml
2. 检查hadoop镜像文件（fsimage）和编辑日志（edits），如果存在大量编辑日志则可能是因为编辑日志过多导致jvm可用堆不足，需要提高hadoop-env.sh的HADOOP_NAMENODE_INIT_HEAPSIZE

参考

Hadoop YARN中内存的设置 - 水瓶媛 - 博客园

启动hadoop后，fs.defaultFS中配置的9000端口没有出现在监听中？ - SegmentFault 思否

hadoop启动报错-namenode无法启动-GC overhead limit exceeded_龙明倩的博客-CSDN博客