- 一, 什么是Ganglia ?
- 二, Ganglia 的安装和部署
- 三, 借助Flume测试Ganglia
- Ganglia是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu 、mem、硬盘利用率，I/O负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能起到重要作用。
- 对分布式集群的安装前规划
| 主机 | 要安装的内容 |
|---|---|
| bigdata01 | web客户端, gmetad, gmond |
| bigdata02 | gmond |
| bigdata03 | gmond |
- 为所有的服务器都安装上epel-release( Extra Packages for Enterprise Linux - epel), 这个是提供版本较新的高质量软件包的下载源
在每台服务器中运行下列指令:
sudo yum -y install epel-release
注意: 此时可能会出现的错误和解决办法
(前提:python版本为2.7.* , 使用python -V 查看):
vi /usr/libexec/urlgrabber-ext-down, 然后将文本中第一行的**#! /usr/bin/python**改为#! /usr/bin/python2.7
vi /usr/bin/yum, 然后将文本中第一行的**#! /usr/bin/python**改为#! /usr/bin/python2.7
- 在bigdata01上安装web, gmetad,gond
sudo yum -y install ganglia-web sudo yum -y install ganglia-gmetad sudo yum -y install ganglia-gmond
- 在bigdata02和bigdata03上安装gmond
sudo yum -y install ganglia-gmond
注意: 在上面执行安装命令时可能会出现的问题:
解决办法:
跳转, cd /etc/yum.repos.d, 然后, vi epel.repo, 把metalink后的https改为http
- 在bigdata01 上修改配置文件
- 修改/etc/httpd/conf.d/ganglia.conf, 设置ganglia监控信息的前端地址
vi /etc/httpd/conf.d/ganglia.conf
- 修改/etc/ganglia/gmetad.conf, 配置gmetad, 修改整合监控信息的主机名.
vi /etc/ganglia/gmetad.conf,
- 在三台主机上, 修改/etc/ganglia/gmond.conf
vi /etc/ganglia/gmond.conf
分发gmond.conf.
- 修改/etc/selinux/config, 关闭selinux
vi /etc/selinux/config
- 启动ganglia,
- 在bigdata01上启动服务如下:
sudo service httpd start sudo service gmetad start sudo service gmond start
- 在bigdata02 和 bigdata03启动服务如下:
sudo service gmond start
- 完成以上步骤, 打开 192.168.182.100/ganglia
经常出现的问题及其解决办法:
# 赋予权限. chmod -R 777 /var/lib/ganglia
- 正常启动, 结果如下:
- 修改配置文件,
vi /opt/module/flume-1.7.0/conf/env.sh # 加入以下内容 JAVA_OPTS="-Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=192.168.9.102:8649 -Xms100m -Xmx200m"
- 运行学习flume最初的例子, flume-netcat-logger.conf, 即使用netcat向指定端口发送数据, flume收集数据, 并打印到控制台.
bin/flume-ng agent -n a1 -c conf -f job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console, -Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=192.168.182.100:8649
-
打开 192.168.182.100/ganglia 查看flume的各类信息.
-
Ganglia监控图标关键字说明:
