栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

spark historyserver常用参数

spark historyserver常用参数

配置默认值说明
spark.eventLog.enabledfalse执行spark job时是否需要输出eventLog到指定目录,建议开启
spark.eventLog.dir/tmp/spark-eventseventLog输出的hdfs路径
spark.history.fs.update.interval10shistory server每隔一段时间就会检查一下eventLog日志目录下的文件是否发生变动,然后进行解析或者更新。如果想要更及时的查看到任务的最新信息,这个时间可以设置的短一些,但太短的周期也会加重服务器的负担。
spark.history.ui.maxApplicationintMaxValue限制web界面最多查询多少个任务信息。该值如果设置的太小,会导致webUI上看不到排在后面的一些任务。
spark.history.ui.port18080history server监听端口
spark.history.fs.cleaner.enabledfalse是否开启过期eventLog日志清除,建议开启。否则eventLog就非常多
spark.history.fs.cleaner.interval1deventLog日志清除线程执行的周期。规定每隔多久检查一次eventLog并清除过期的eventLog日志
spark.history.fs.cleaner.maxAge7d规定eventLog的过期时间
spark.eventLog.compressfalse是否压缩eventLog日志文件。
spark.history.retainedApplications50在内存中缓存任务信息详情的个数,不建议设置的太大。后面就详细介绍这个缓存机制。
spark.history.fs.numReplayThreadsceil(cpu核数/4)解析eventLog的线程数量
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/707734.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号