栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

Spark:从具有不同内存/内核配置的单个JVM作业同时启动

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Spark:从具有不同内存/内核配置的单个JVM作业同时启动

Spark独立服务器为应用程序使用简单的FIFO调度程序。默认情况下,每个应用程序都使用群集中的所有可用节点。每个应用程序,每个用户或全局可以限制节点数。其他资源,例如内存,cpus等,可以通过应用程序的SparkConf对象进行控制。

Apache Mesos具有主进程和从属进程。主服务器向应用程序提供资源(在Apache
Mesos中称为框架),该资源可以接受也可以不接受。因此,要求可用资源和正在运行的作业由应用程序本身确定。Apache
Mesos允许对系统中的资源(例如cpus,内存,磁盘和端口)进行细粒度的控制。Apache
Mesos还提供了资源的过程控制控制,Spark会为每个执行器预先分配固定数量的CPU,直到应用程序退出时才释放这些CPU。请注意,在同一群集中,可以将某些应用程序设置为使用细粒度控制,而将其他应用程序设置为使用过程细粒度控制。

Apache Hadoop
YARN的ResourceManager由两部分组成:调度程序和ApplicationsManager。调度程序是可插入的组件。提供了两种实现方式:CapacityScheduler(在一个以上的组织共享的集群中有用)和FairScheduler(确保所有应用程序平均获得相等数量的资源)。两个调度程序都将应用程序分配给一个队列,每个队列都获得在它们之间平均共享的资源。在队列中,资源在应用程序之间共享。ApplicationsManager负责接受作业提交并启动特定于应用程序的ApplicationsMaster。在这种情况下,ApplicationsMaster是Spark应用程序。在Spark应用程序中,资源是在应用程序的SparkConf对象中指定的。

对于您的情况,仅使用独立的情况是不可能的,可能会有一些前提解决方案,但我没有面对



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/428799.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号