栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

hadoop涓殑yarn(hadoop yarn鍘熺悊)

hadoop涓殑yarn(hadoop yarn鍘熺悊)

需求:

    自己写的程序也可以动态修改参数,编写Yarn的Tool接口( 使用WordCount案例 )


    WordCount类:

            实现 Tool 接口并且实现其 run()、setConf()、getConf()方法

            在该类中编写 mapper 和 reducer(与 MapReduce 中一致)

            在 run() 方法中传入核心驱动 conf (继续编写Driver中的那几步)

            在 getConf() 方法中为 conf赋值(别人获取的话直接拿走)

            setConf() 方法中(通过外部传进来)

    WordCountDriver类:

            创建配置

            判断路径是否是 wordcount
    
                如果是则新创建一个 tool 接口

                如果不是则新创建一个异常(没有这个tool接口)

            执行程序 ToolRunner.() (选择三个参数的)

            Arrays.copyOfRange() 拷贝传进来的参数

            打包后将 jar 包传入集群然后执行

            (在输入输出前设置添加参数  -Dmapreduce.job.queuename=  )
 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/772098.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号