core-site.xml配置文件详解

目录

1 版本信息 

2 core-site.xml配置文件详解

1 版本信息 

 

2 core-site.xml配置文件详解

<-- 描述集群中NameNode结点的URI(包括协议、主机名称、端口号) -->

          fs.defaultFS
          hdfs://hdp101:8020
          true

<-- 启用 s3a 快速上载机制 -->

          fs.s3a.fast.upload
          true

<-- 所有数据上传缓存在磁盘中 -->

          fs.s3a.fast.upload.buffer
          disk

<-- upload或copy操作，当文件超过多大时，即拆分。 -->

          fs.s3a.multipart.size
          67108864

<-- 检查点之间的时间间隔， 单位为分钟，  此属性可以在服务器和客户端上配置，如果服务器上被禁用，则检查客户端配置，如果服务器上被启用，则忽略客户端配置。-->

          fs.trash.interval
          360

<--  zookeeper 失败切换控制器的重试次数设置  -->

          ha.failover-controller.active-standby-elector.zk.op.retries
          120

<-- zookeeper ACL认证 -->

      ha.zookeeper.acl
      sasl:nn:rwcda

<-- zookeeper  -->

      ha.zookeeper.quorum
      client:2181,namenode:2181,snamenode:2181

<-- 允许跨域的方法列表 -->

           hadoop.http.cross-origin.allowed-methods
           GET,PUT,POST,OPTIONS,HEAD,DELETE

<-- 允许跨域访问的来源 -->

           hadoop.http.cross-origin.allowed-origins
           *

<-- 一个逗号分隔的类名列表，他们必须继承于org.apache.hadoop.http.FilterInitializer，相应的过滤器被初始化后，将应用于所有的JSP和Servlet网页 -->

         hadoop.http.filter.initializers
        org.apache.hadoop.security.AuthenticationFilterInitializer,org.apache.hadoop.security.HttpCrossOriginFilterInitializer

<-- hdfs 代理用户  -->

          hadoop.proxyuser.hdfs.hosts
          *

<-- hive 代理用户组 -->

          hadoop.proxyuser.hive.groups
          *

<-- hdp102 上的hive用户可以以superuser 的方式模拟hadoop组的任务用户 -->

          hadoop.proxyuser.hive.hosts
          hdp102

<--  通过 httpfs 接口访问的用户获得的群组身份 -->

          hadoop.proxyuser.root.groups
          *

<-- 通过 httpfs接口hdfs的IP地址限制 -->

  hadoop.proxyuser.root.hosts
  hdp101

<-- 将 kerberos主题映射到本地用户名 -->

  hadoop.security.auth_to_local
  DEFAULT

<-- 是否启用service级别的授权 -->

          hadoop.security.authorization
          false

<-- 指示是否需要管理员 ACL才能访问  -->

          hadoop.security.instrumentation.requires.admin
          false

<-- 逗号分割的压缩编码器类列表，可以用于压缩 /解压 -->

          io.compression.codecs                 org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.SnappyCodec

<-- 在序列文件中使用的缓冲区大小。这个缓冲区的大小应该是页大小（英特尔x86上为4096）的倍数，它决定读写操作中缓冲了多少数据。 -->

          io.file.buffer.size
          131072

<-- 可用于获取序列化和反序列化的序列化类的列表。 -->

  io.serializations
  org.apache.hadoop.io.serializer.WritableSerialization

<-- 客户端重新建立服务器连接的重试次数 -->

          ipc.client.connect.max.retries
          50

<-- 空闲连接断开时间 -->

          ipc.client.connection.maxidletime
          30000

<-- 定义连接的阈值数量，之后检查连接是否空闲  -->

          ipc.client.idlethreshold
          8000

<--  关闭Nagle’s算法，此算法可以延迟小数据包发送，从而达到网络流量更有效利用。但是这对小数据包是不利的。默认关闭。建议false，即开启Nagle算法 -->

          ipc.server.tcpnodelay
          true

<--  设为true，则JT和NN的tracker网页会出现杀任务删文件等操作连接，默认是false   -->

          mapreduce.jobtracker.webinterface.trusted
          false

<-- 机架感知，当 datanode 注册时和 heartbeat 时，会把 datanode 的 ip 作为参数传入，返回信息为此datanode 的机架信息 -->

          net.topology.script.file.name
          /etc/hadoop/conf/topology_script.py