栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 其他

Flink内存模型

其他 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Flink内存模型

最新内存模型

flink1.10对内存使用进行了调整,模型划分更详细,但使初学者感觉更复杂了,从下图taskmanager内存模型可以看出一般。

 

flink内存按功能模块可分为taskmanager与jobmanger, 其中jobmanger不承担计算任务,所以相对简单无需过多讨论。

细分内存模型后,flink提供了大量参数来设置对应区块的大小,如下:

参数非常多,容易让人混乱,所以flink也提供了一个非常简单的内存设置方法,即只需设置进程总内存即可,进程总内存包括了flink在运行时需要的所有内存,包括堆内堆外内存等,例如当在k8s容器内运行时,该值就是容器申请到的内存大小,flink会按一定比例对总内存进行细分,当taskmanger,process.size=4G时,默认细分结果如下:

模型详细说明

通常情况下我们只需要设置进程总内存即可:taskmanager.memory.process.size/jobmanager.memory.process.size。

以taskmanager为例,进程总内存包括三部分:flink总内存(Total Flink Memory)+ 运行时JVM使用的内存(JVM Overhead + JVM metaspace)。

flink总内存包括flink使用到的堆内存(heap memory)与堆外内存(off-heap memory)。

flink使用到的堆内存包括flink框架本身用到的堆(framework memory)与flink任务使用到的堆(task memory).

flink使用到的堆外内存包括: 排序等用到的堆外内存(managed memory), 其它堆外内存(direct memory),其它堆外内存包括task、framework额外用到的堆外内存,以及network用到的堆外内存。

关注个人微信公众号:肌肉码农,回复“好友”讨论问题

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/279430.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号