栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Apache Yarn重启,历史任务可以永久保留的几个参数

Apache Yarn重启,历史任务可以永久保留的几个参数

非HA模式下的Apache Yarn在重启以后,8088端口默认是看不到之前运行过的历史任务的,如果想要看到历史任务,只需要在yarn-site.xml里面设置三个参数即可.


        yarn.resourcemanager.recovery.enabled
       
        true



        yarn.resourcemanager.store.class
                             
        org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore



        yarn.resourcemanager.fs.state-store.uri
       
        file://${hadoop.tmp.dir}/yarn/system/rmstore
 

第三个参数默认值 是${hadoop.tmp.dir}/yarn/system/rmstore,前面如果不加file://协议,yarn会默认为hdfs路径,因为我们在core-site.xml里面设置了

    
        fs.defaultFS
        hdfs://hadoop102:8020
    

如果这么玩,第一次启动hadoop会报错,因为hdfs启动以后会有个30s的安全模式,启动完hdfs以后,直接启动yarn,yarn会去hdfs上创建目录,会报一个安全模式的错误,所以我在此处将信息存到了本地路径了.

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/779321.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号