栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Flink yarn-session模式下延长taskmanager驻留时间

Flink yarn-session模式下延长taskmanager驻留时间

resourcemanager.taskmanager-timeout 默认30000毫秒 taskmanager无任务运行就会被回收,下次提交任务时又会重新向yarn申请container启动taskmanager 耗时很大

resourcemanager.taskmanager-timeout 增加为86400000 保留一天

SlotManagerConfiguration.fromConfiguration(){
        final Time taskManagerTimeout =
                Time.milliseconds(
                        configuration.getLong(ResourceManagerOptions.TASK_MANAGER_TIMEOUT));
}
public DeclarativeSlotManager(){
 new TaskExecutorManager(
                                slotManagerConfiguration.getDefaultWorkerResourceSpec(),
                                slotManagerConfiguration.getNumSlotsPerWorker(),
                                slotManagerConfiguration.getMaxSlotNum(),
                                slotManagerConfiguration.isWaitResultConsumedBeforeRelease(),
                                slotManagerConfiguration.getRedundantTaskManagerNum(),
                                slotManagerConfiguration.getTaskManagerTimeout(),
                                scheduledExecutor,
                                executor,
                                resourceActions);
}

TaskExecutorManager(){
        taskManagerTimeoutsAndRedundancyCheck =
                scheduledExecutor.scheduleWithFixedDelay(
                        () ->
                                mainThreadExecutor.execute(
                                        this::checkTaskManagerTimeoutsAndRedundancy),
                        0L,
                        taskManagerTimeout.toMilliseconds(),
                        TimeUnit.MILLISECONDS);
}
taskManagerTimeout.toMilliseconds() 检查一次 checkTaskManagerTimeoutsAndRedundancy  taskmanager空闲时就释放
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/673959.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号