[hadoop]基准测试 | hadoop宕机 | hadoop数据倾斜

1.基准测试

搭建完hadoop集群后需要对HDFS读写性能和MR计算能力测试,测试jar包在hadoop的share文件夹下.

2.hadoop宕机

1)如果MR造成系统宕机,此时要控制Yarn同时运行的任务数,和每个任务申请的最大内存,调整参数:

yarn.scheduler.maximum-allocation-mb(单个任务可申请的最多物理内存,默认是8192MB)

2)如果写入文件过快造成NameNode宕机,那么调高KafKa的存储大小,控制从Kafka到HDFS的写入速度,例如:可以调整Flume每批次拉取数据量的大小参数batchsize.

4.hadoop数据倾斜

1)提前在map进行combine,减少传输的数据量.

2)加随机前缀.跑两个MR