栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

bigdata

bigdata

一丶Yarn架构设计,调度策略,等回顾

二丶访问Yarn Web UI

        Yarn-》Applications

        任务资源队列,一般一个团队用一个队列

三丶HA

          highavaliable,高可用

         如何高可用        

          多备份,        

         自动切换,zookeeper会和备份standy沟通,看把谁变成active

四丶Yarn shell应用

         直接输入yarn回车即可查看yarn的一级命令:yarn,显示出可用的命令列表

         查看版本信息:yarn  verison

         提交jar包:yarn jar jarName mainClassPath -Dk1=v1 -Dk2=v2 inputPath outputPath

         获取yarn运行时的classpath值:yarn classpath

         查看所有application列表信息: yarn application -list

         杀掉指定application  yarn application kill app-id

         查看yarn的当前资源使用情况:yarn top

使用yarn执行任务,指定任务使用的资源队列名。

  • 新建资源队列oncourse
  • 修改MapReduce代码中的Driver代码,使之可以使用yarn命令指定的系统配置参数,如指定所使用的资源队列
  • 修改yarn jar指定系统配置参数
  • 查看执行结果
  • 查看任务使用的资源队列情况

五丶hadoop组成图和调度框架图

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/342531.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号