CDH集群配置目录汇总

CDH集群配置目录汇总

• 1、CDH目录汇总
• 2、CM详解
• • 2.1 Service Monitor：
  • 2.2 Host Monitor：
  • 2.3 server/agent配置目录
  • 2.4 server/agent日志目录
  • 2.5 Parcels包安装目录
  • • 2.5.1 服务软件包数据(parcels)
    • 2.5.2 服务软件包缓存数据
  • 2.6 CDH配置数据库连接信息脚本目录
• 3、CDH安装路径
• 4、CDH组件详解
• • 4.1 组件安装目录
  • 4.2 组件配置路径
  • 4.3 组件shell客户端命令
  • 4.4 组件日志目录
  • 4.5 服务运行时所有组件的配置文件目录[各组件运行时，实际的配置文件路径]
• 5、solr日志位置
• 6、jar包目录
• • 6.1 所有jar包所在目录
  • 6.2 各个服务组件对应的jar包

1、CDH目录汇总

/var/log/cloudera-scm-installer : 安装日志目录。
/var/log/* : 相关日志文件（相关服务的及CM的）。
/usr/share/cmf/ : 程序安装目录。
/usr/lib64/cmf/ : Agent程序代码。
/var/lib/cloudera-scm-server-db/data : 内嵌数据库目录。
/usr/bin/postgres : 内嵌数据库程序。
/etc/cloudera-scm-agent/ : agent的配置目录。
/etc/cloudera-scm-server/ : server的配置目录。
/opt/cloudera/parcels/ : Hadoop相关服务安装目录。
/opt/cloudera/parcel-repo/ : 下载的服务软件包数据，数据格式为parcels。
/opt/cloudera/parcel-cache/ : 下载的服务软件包缓存数据。
/etc/hadoop/* : 客户端配置文件目录。

2、CM详解 2.1 Service Monitor：

Service Monitor存储了时间序列和健康数据。Impla查询的元数据，Yarn应用的元数据。默认情况下，数据时存储在/var/lib/cloudera-service-monitor/文件夹下。

2.2 Host Monitor：

Host Monitor存储了时间序列和健康数据。默认情况下，数据存储在/var/lib/cloudera-host-monitor/文件夹下。

2.3 server/agent配置目录

/etc/cloudera-scm-agent/config.ini cm agent的配置目录
/etc/cloudera-scm-server/ cm server的配置目录

2.4 server/agent日志目录

/var/log/cloudera-scm-server/cloudera-scm-server.log  CDH服务端日志
/var/log/cloudera-scm-agent/cloudera-scm-agent.log    CDH客户端日志

2.5 Parcels包安装目录 2.5.1 服务软件包数据(parcels)

/opt/cloudera/parcel-repo/

2.5.2 服务软件包缓存数据

/opt/cloudera/parcel-cache/

2.6 CDH配置数据库连接信息脚本目录

/opt/cloudera/cm/schema/scm_prepare_database.sh

3、CDH安装路径

/opt/cloudera/parcels/CDH

4、CDH组件详解 4.1 组件安装目录

/opt/cloudera/parcels/CDH/lib

4.2 组件配置路径

/etc/组件名/conf  

例如：
/etc/hadoop/conf Hadoop各个组件的配置
/etc/hive/conf  hive配置文件目录
/etc/hbase/conf  hbase配置文件目录
 
/opt/cloudera/parcels/CDH/etc是hadoop集群以及组件的配置文件文件夹 

4.3 组件shell客户端命令

/opt/cloudera/parcels/CDH/bin

4.4 组件日志目录

/var/log/下面有对应节点所开启服务的日志
其中
hadoop-hdfs hadoop日志目录
hadoop-mapreduce
hadoop-yarn
hbase hbase日志目录
hive hive日志目录
zookeeper  zookeeper日志目录

4.5 服务运行时所有组件的配置文件目录[各组件运行时，实际的配置文件路径]

/var/run/cloudera-scm-agent/process/

CDH的相关组件在CM界面上更改配置是不会立即反映到配置文件中，这些信息会存储于数据库中，等下次重启服务时才会生成配置文件。且每次启动时都会产生新的配置文件。

在此路径下，通过log4j.properties, 可以看到对应的日志文件路径。

HDFS重启时，也会动态生成相关配置路径

如：core-site.xml,hdfs-site.xml,log4j.properties

/run/cloudera-scm-agent/process/76-hdfs-DATANODE

启动时stderr,stdout输出日志路径就在此目录下log路径查看。

Kafka重启时，每次都会动态生成下述目录，99 每次递增（数字根据各类事件顺序递增）. 目录下会根据最新的配置文件，产生相关配置文件。

如kafka.properties， kafka-monitor.properties以及日志log4j.properites

/run/cloudera-scm-agent/process/99-kafka-KAFKA_BROKER
log4j.properites配置了broker日志路径： /var/log/kafka/kafka-broker-hadoop001.log

HIVESERVER2:

/var/run/cloudera-scm-agent/process/248-hive-HIVESERVER2

5、solr日志位置

tail -f /var/log/solr/solr-cmf-solr-SOLR_SERVER-...(hostname).log.out

6、jar包目录 6.1 所有jar包所在目录

/opt/cloudera/parcels/CDH/jars

6.2 各个服务组件对应的jar包

/opt/cloudera/parcels/CDH/lib/
 
例如sqoop：/opt/cloudera/parcels/CDH/lib/sqoop/lib