目录
一、HAProxy概述
1、HAProxy的主要特性
2、常见的Web集群调度器
3、Haproxy应用分析
4、Haproxy调度算法原理
5、HAProxy负载均衡策略(8种)
二、LVS、Nginx、HAproxy的区别
三、LVS、Nginx、HAproxy的优缺点
1、Nginx的优点:
2、Nginx的缺点:
3、LVS的优点:
4、LVS的缺点:
5、HAProxy的优点:
6、HAProxy的缺点
四、Haproxy搭建 Web 群集
环境准备
1. 部署Nginx服务器(192.168.10.19)
1.1 关闭防火墙
1.2 安装nginx
1.3 创建站点文件
1.4 验证网页
2. 部署Apache服务器 (192.168.10.23)
2.1 关闭防火墙
2.2 安装apache并开启服务
2.3 编辑站点文件
2.4 验证网页
3. 部署Haproxy服务器(192.168.10.13)
3.1 关闭防火墙,将安装Haproxy所需软件包传到/opt目录下
3.2 安装依赖软件
3.3 编译安装Haproxy
3.4 Haproxy服务器配置
3.5 添加haproxy 系统服务
五、Haproxy集群日志重新定义
六、总结
一、HAProxy概述
(1)Haproxy是一个使用C语言编写的自由及开放源代码软件,其提供高可用性、负载均衡,以及基于TCP和HTT的应用程序代理。
(2)HAProxy是可提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,是免费、快速并且可靠的一种解决方案。HAProxy非常适用于并发大(并发达1w以上)web站点,这些站点通常又需要会话保持或七层处理。HAProxy的运行模式使得它可以很简单安全的整合至当前的架构中,同时可以保护web服务器不被暴露到网络上。
(3)Haproxy实现了一种事件驱动,单一进程模型,此模型支持非常大的并发连接数。多进程或多线程模型受内存限制系统调度器限制以及无处不在的锁限制,很少能处理数千并发连接。事件驱动模型因为在有更好的资源和时间管理的用户空间(User-Space)实现所有这些任务,所以没有这些问题。
(4)此模型的弊端是,在多核系统上,这些程序通常扩展性较差。这就是为什么他们必须进行优化以使每个CPU时间片(Cycle)做更多的工作。
(5)包括GitHub,Bitbucket,stack overflow,Reddit Tumblr,Twitter 和 Tuenti 在内的知名网站,及亚马逊网络服务系统都使用了Haproxy
1、HAProxy的主要特性
(1)可靠性和稳定性非常好,可以与硬件级的F5负载均衡设备相媲美;
最高可以同时维护40000-50000个并发连接,单位时间内处理的最大请求数为20000个,最大处理能力可达10Git/s;
(2)支持多达8种负载均衡算法,同时也支持会话保持;
(3)支持虚机主机功能,从而实现web负载均衡更加灵活;
(4)支持连接拒绝、全透明代理等独特的功能;
(5)拥有强大的ACL支持,用于访问控制;
(6)其独特的弹性二叉树数据结构,使数据结构的复杂性上升到了0(1),即数据的查寻速度不会随着数据条目的增加而速度有所下降;
(7)支持客户端的keepalive功能,减少客户端与haproxy的多次三次握手导致资源浪费,让多个请求在一个tcp连接中完成;
(8)支持TCP加速,零复制功能,类似于mmap机制;
(9)支持响应池(response buffering);
(10)支持RDP协议;
(11)基于源的粘性,类似nginx的ip_hash功能,把来自同一客户端的请求在一定时间内始终调度到上游的同一服务器;
(12)更好统计数据接口,其web接口显示后端集群中各个服务器的接收、发送、拒绝、错误等数据的统计信息;
(13)详细的健康状态检测,web接口中有关于对上游服务器的健康检测状态,并提供了一定的管理功能;
(14)基于流量的健康评估机制;
(15)基于http认证;
(16)基于命令行的管理接口;
(17)日志分析器,可对日志进行分析。
2、常见的Web集群调度器
(1)目前常见的Web集群调度器分为软件和硬件
(2)软件通常使用开源的LVS、Haproxy、Nginx
(3)LVS性能最好,但是搭建相对复杂;Nginx的upstream模块支持集群功能,但是对集群节点健康检查功能不强,高并发没有Haproxy好
(4)硬件一般使用的比较多的是F5,也有很多人使用梭子鱼、绿盟等国内产品
3、Haproxy应用分析
(1)LVS在企业应用中抗负载能力很强,但存在不足
①LVS不支持正则处理,不能实现动静分离
②对于大型网站,LVS的实施配置复杂,维护成功相对较高
(2)Haproxy是一款可提供高可用性、负载均衡、及基于TCP和HTTP应用的代理的软件
①适用于负载大的Web站点
②运行在硬件上可支持数万计的并发连接的连接请求
4、Haproxy调度算法原理
Haproxy支持多种调度算法,最常用的有三种
(1)RR (Round Robin)
RR算法是最简单常用的一种算法,即轮询调度
(2)LC(Least Connections)
最小连接数算法,根据后端的节点连接数大小动态分配前端请求。
(3)SH(Source Hashing)
基于来源访问调度算法,用于一些有Session会话记录在服务器端的场景,可以基于来源的IP、Cookie等做集群调度
5、HAProxy负载均衡策略(8种)
| roundrobin | 表示简单的轮询 |
| static-rr | 表示根据权重 |
| leastconn | 表示最少连接者先处理 |
| source | 表示根据请求的源IP,类似Nginx的IP_hash机制 |
| uri | 表示根据请求的URI |
| url_param | 表示根据请求的URl参数'balance url_param' requires an URL parameter name |
| hdr(name) | 表示根据HTTP请求头来锁定每一次HTTP请求 |
| rdp-cookie(name) | 表示根据据cookie(name)来锁定并哈希每一次TCP请求 |
二、LVS、Nginx、HAproxy的区别
(1)LVS基于Linux操作系统实现软负载均衡,而HAProxy和Nginx是基于第三方应用实现的软负载均衡;
(2)LVS是可实现4层的IP负载均衡技术,无法实现基于目录、URL的转发。而HAProxy和Nginx都可以实现4层和7层技术,HAProxy可提供TCP和HTTP应用的负载均衡综合解决方案;
(3)LVS因为工作在ISO模型的第四层,其状态监测功能单一,而HAProxy在状监测方面功能更丰富、强大,可支持端口、URL、脚本等多种状态检测方式;
(4)HAProxy功能强大,但整体性能低于4层模式的LVS负载均衡。
(5)Nginx主要用于Web服务器或缓存服务器。Nginx的upstream模块虽然也支持群集功能,但是对群集节点健康检查功能不强,性能没有Haproxy好。
三、LVS、Nginx、HAproxy的优缺点
1、Nginx的优点:
(1)工作在网络的7层之上,可以针对http应用做一些分流的策略,比如针对域名、目录结构。Nginx正则规则比HAProxy更为强大和灵活。
(2)Nginx对网络稳定性的依赖非常小,理论上能ping通就就能进行负载功能,LVS对网络稳定性依赖比较大,稳定要求相对更高。
(3)Nginx安装和配置、测试比较简单、方便,有清晰的日志用于排查和管理,LVS的配置、测试就要花比较长的时间了。
(4)可以承担高负载压力且稳定,一般能支撑几万次的并发量,负载度比LVS相对小些。
(5)Nginx可以通过端口检测到服务器内部的故障,比如根据服务器处理网页返回的状态码、超时等等。
(6)Nginx不仅仅是一款优秀的负载均衡器/反向代理软件,它同时也是功能强大的Web应用服务器。
(7)Nginx作为Web反向加速缓存越来越成熟了,速度比传统的Squid服务器更快,很多场景下都将其作为反向代理加速器。
(8)Nginx作为静态网页和图片服务器,这方面的性能非常优秀,同时第三方模块也很多。
2、Nginx的缺点:
(1)Nginx仅能支持http、https和Email协议,这样就在适用范围上面小些。
(2)对后端服务器的健康检查,只支持通过端口来检测,不支持通过url来检测。
(3)不支持Session的直接保持,需要通过ip_hash和cookie的引导来解决。
3、LVS的优点:
(1)抗负载能力强、是工作在网络4层之上仅作分发之用,没有流量的产生。因此负载均衡软件里的性能最强的,对内存和cpu资源消耗比较低。
(2)LVS工作稳定,因为其本身抗负载能力很强,自身有完整的双机热备方案。
(3)无流量,LVS只分发请求,而流量并不从它本身出去,这点保证了均衡器IO的性能不会收到大流量的影响。
(4)应用范围较广,因为LVS工作在4层,所以它几乎可对所有应用做负载均衡,包括http、数据库等。
4、LVS的缺点:
(1)软件本身不支持正则表达式处理,不能做动静分离。相对来说,Nginx/HAProxy+Keepalived则具有明显的优势。
(2)如果是网站应用比较庞大的话,LVS/DR+Keepalived实施起来就比较复杂了。相对来说,Nginx/HAProxy+Keepalived就简单多了。
5、HAProxy的优点:
(1)HAProxy也是支持虚拟主机的。
(2)HAProxy支持8种负载均衡策略。
(3)HAProxy的优点能够补充Nginx的一些缺点,比如支持Session的保持,Cookie的引导,同时支持通过获取指定的url来检测后端服务器的状态。
(4)HAProxy跟LVS类似,本身就只是一款负载均衡软件,单纯从效率上来讲HAProxy会比Nginx有更出色的负载均衡速度,在并发处理上也是优于Nginx的。
(5)HAProxy支持TCP协议的负载均衡转发。
6、HAProxy的缺点
不支持动静分离
四、Haproxy搭建 Web 群集
环境准备
| Haproxy服务器 | 192.168.10.13 |
| Nginx 服务器 | 192.168.10.19 |
| Apache 服务器 | 192.168.10.23 |
| 客户端 | 192.168.10.100 |
1. 部署Nginx服务器(192.168.10.19)
1.1 关闭防火墙
systemctl stop firewalld
setenforce 0
1.2 安装nginx
1.2.1 通过编译安装的方式安装Nginx
##方法一、通过编译安装的方式安装Nginx #安装依赖关系包 yum -y install pcre-devel zlib-devel gcc gcc-c++ make #新建用户和组便于管理 useradd -M -s /sbin/nologin nginx #切换至opt目录,将下载好的压缩包传进来解压 cd /opt tar -zxf nginx-1.12.0.tar.gz #切换至解压后的目录下编译 cd nginx-1.12.0 ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-http_stub_status_module #安装 make && make install -j4 #做软连接,让系统识别nginx的操作命令 ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/ #将nginx命令加入服务 cd /lib/systemd/system vim nginx.service #!/bin.bash [Unit] Description=nginx After=network.target [Service] Type=forking PIDFile=/usr/local/nginx/logs/nginx.pid ExecStart=/usr/local/nginx/sbin/nginx ExecReload=/usr/bin/kill -s HUP $MAINPID ExecStop=/usr/bin/kill -s QUIT $MAINPID PrivateTmp=true [Install] WantedBy=multi-user.target
1.2.2 配置网络源安装nginx
前面的操作都是用的编译安装,这次来个不一样的,配置网络源安装nginx
#方法二、yum安装Nginx 配置nginx源 [nginx] name=nginx.repo baseurl=https://nginx.org/packages/centos/7/$basearch/ enabled=1 gpgcheck=0 yum clean all && yum makecache #创建站点目录 echo "this is zhangsan web" > /usr/local/nginx/html/index.html cat /usr/local/nginx/html/index.html #重新加载单元.启动服务 systemctl daemon-reload systemctl start nginx #查看是否能成功启动 netstat -ntap|grep nginx http://192.168.10.19/
1.3 创建站点文件
echo "this is zhangsan web" > /usr/share/nginx/html/index.html
cat /usr/share/nginx/html/index.html
1.4 验证网页
2. 部署Apache服务器 (192.168.10.23)
2.1 关闭防火墙
#关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
2.2 安装apache并开启服务
yum install -y httpd
systemctl start httpd
#关闭防火墙 systemctl stop firewalld systemctl disable firewalld setenforce 0
2.2 安装apache并开启服务
yum install -y httpd
systemctl start httpd
yum install -y httpd systemctl start httpd
2.3 编辑站点文件
echo "this is lisi web" >/var/www/html/index.html
cat /var/www/html/index.html
2.4 验证网页
3. 部署Haproxy服务器(192.168.10.13)
1. 关闭防火墙,将安装Haproxy所需软件包传到/opt目录下
systemctl stop firewalld
setenforce 0
cd /opt
haproxy-1.5.19.tar.gz
2. 安装依赖软件
yum install -y pcre-devel bzip2-devel gcc gcc-c++ make
3. 解压安装包,并切换至该软件包
tar zxf haproxy-1.5.19.tar.gz
cd haproxy-1.5.19/
4. 编译安装Haproxy
make TARGET=linux2628 ARCH=x86_64
make install
参数说明:
TARGET=linux26 #内核版本,
#使用uname -r查看内核,如:2.6.18-371.el5,此时该参数用TARGET=linux26;kernel大于2.6.28的用TARGET=linux2628
ARCH=x86_64 #系统位数,64位系统
5. Haproxy服务器配置
mkdir /etc/haproxy
cp examples/haproxy.cfg /etc/haproxy/
cd /etc/haproxy/
vim haproxy.cfg
global
--4~5行--修改,配置日志记录,local0为日志设备,默认存放到系统日志
log /dev/log local0 info
log /dev/log local0 notice
#log loghost local0 info
maxconn 4096 #最大连接数,需考虑ulimit -n限制
--8行--注释,chroot运行路径,为该服务自设置的根目录,一般需将此行注释掉
#chroot /usr/share/haproxy
uid 99 #用户UID
gid 99 #用户GID
daemon #守护进程模式
defaults
log global #定义日志为global配置中的日志定义
mode http #模式为http
option httplog #采用http日志格式记录日志
option dontlognull #不记录健康检查日志信息
retries 3 #检查节点服务器失败次数,连续达到三次失败,则认为节点不可用
redispatch #当服务器负载很高时,自动结束当前队列处理比较久的连接
maxconn 2000 #最大连接数
#contimeout 5000 #设置连接超时时间,默认单位是毫秒
#clitimeout 50000 #设置客户端超时时间,默认单位是毫秒
#srvtimeout 50000 #设置服务器超时时间,默认单位是毫秒
timeout http-request 10s #默认http请求超时时间
timeout queue 1m #默认队列超时时间
timeout connect 10s #默认连接超时时间,新版本中替代contimeout,该参数向后兼容
timeout client 1m #默认客户端超时时间,新版本中替代clitimeout,该参数向后兼容
timeout server 1m #默认服务器超时时间,新版本中替代srvtimeout,该参数向后兼容
timeout http-keep-alive 10s #默认持久连接超时时间
timeout check 10s #设置心跳检查超时时间
--删除下面所有listen项--,添加
listen webcluster 0.0.0.0:80 #定义一个名为webcluster的应用
option httpchk GET /index.html #检查服务器的index.html文件
balance roundrobin #负载均衡调度算法使用轮询算法roundrobin
server inst1 192.168.10.19:80 check inter 2000 fall 3 #定义在线节点
server inst2 192.168.10.23:80 check inter 2000 fall 3
##########################参数说明########################
balance roundrobin #负载均衡调度算法
#轮询算法:roundrobin;最小连接数算法:leastconn;来源访问调度算法:source,类似于nginx的ip_hash
check inter 2000 #表示haproxy服务器和节点之间的一个心跳频率
fall3 #表示连续三次检测不到心跳频率则认为该节点失效
若节点配置后带有“backup”表示该节点只是个备份节点,只有主节点失效该节点才会上。不携带“backup”,表示为主节点,和其它主节点共同提供服务。
6. 添加haproxy系统服务
cp /opt/haproxy-1.5.19/examples/haproxy.init /etc/init.d/haproxy
cd /etc/init.d/
chmod +x /etc/init.d/haproxy
chkconfig --add /etc/init.d/haproxy
ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy
service haproxy start
7. 在客户端测试
在客户端使用浏览器打开 http://192.168.10.13/test.html ,不断刷新浏览器测试负载均衡效果
3.1 关闭防火墙,将安装Haproxy所需软件包传到/opt目录下
关闭防火墙,将安装Haproxy所需软件包传到/opt目录下
systemctl stop firewalld
setenforce 0
haproxy-1.5.19.tar.gz
关闭防火墙,将安装Haproxy所需软件包传到/opt目录下 systemctl stop firewalld setenforce 0 haproxy-1.5.19.tar.gz
3.2 安装依赖软件
yum install -y pcre-devel bzip2-devel gcc gcc-c++ make
3.3 编译安装Haproxy
tar zxf haproxy-1.5.19.tar.gz
cd haproxy-1.5.19/
make TARGET=linux2628 ARCH=x86_64
make install
参数说明---------------------------------------------------------------------------
TARGET=linux26 #内核版本,
#使用uname -r查看内核,如:2.6.18-371.el5,此时该参数用TARGET=linux26;kernel大于2.6.28的用TARGET=linux2628
ARCH=x86_64 #系统位数,64位系统
3.4 Haproxy服务器配置
mkdir /etc/haproxy
cp examples/haproxy.cfg /etc/haproxy/
cd /etc/haproxy/
vim haproxy.cfg
global #全局配置,主要用于定义全局参数,属于进程级的配置,通常和操作系统配置有关
--4~5行--修改,定义haproxy日志输出设置和日志级别,local0为日志设备,默认存放到系统日志
log /dev/log local0 info #修改
log /dev/log local0 notice #修改
#log loghost local0 info
maxconn 4096 #最大连接数,需考虑ulimit -n限制,推荐使用10240
--8行--注释,chroot运行路径,为该服务自设置的根目录,一般需将此行注释掉
#chroot /usr/share/haproxy
uid 99 #用户UID
gid 99 #用户GID
daemon #守护进程模式
nbproc 1 #添加,设置并发进程数,建议与当前服务器CPU核数相等或为其2倍
defaults #配置默认参数,这些参数可以被用到Listen,frontend,backend组件
log global #引入global定义的日志格式
mode http #模式为http(7层代理http,4层代理tcp)
option httplog #日志类别为http日志格式
option dontlognull #不记录健康检查日志信息
retries 3 #检查节点服务器失败次数,连续达到三次失败,则认为节点不可用
redispatch #当服务器负载很高时,自动结束当前队列处理比较久的连接
maxconn 2000 #最大连接数,“defaults”中的值不能超过“global”段中的定义
#contimeout 5000 #设置连接超时时间,默认单位是毫秒
#clitimeout 50000 #设置客户端超时时间,默认单位是毫秒
#srvtimeout 50000 #设置服务器超时时间,默认单位是毫秒
timeout http-request 10s #默认http请求超时时间
timeout queue 1m #默认队列超时时间
timeout connect 10s #默认连接超时时间,新版本中替代contimeout,该参数向后兼容
timeout client 1m #默认客户端超时时间,新版本中替代clitimeout,该参数向后兼容
timeout server 1m #默认服务器超时时间,新版本中替代srvtimeout,该参数向后兼容
timeout http-keep-alive 10s #默认持久连接超时时间
timeout check 10s #设置心跳检查超时时间
--删除下面所有listen项--,添加
listen webcluster 0.0.0.0:80 #haproxy实例状态监控部分配置,定义一个名为webcluster的应用
option httpchk GET /test.html #检查服务器的test.html文件
balance roundrobin #负载均衡调度算法使用轮询算法roundrobin
server inst1 192.168.10.19:80 check inter 2000 fall 3 #定义在线节点
server inst2 192.168.10.23:80 check inter 2000 fall 3
---------------------参数说明-----------------------------------------------------------------
balance roundrobin #负载均衡调度算法
#轮询算法:roundrobin;最小连接数算法:leastconn;来源访问调度算法:source,类似于nginx的ip_hash
check inter 2000 #表示启用对此后端服务器执行健康检查,设置健康状态检查的时间间隔,单位为毫秒
fall 3 #表示连续三次检测不到心跳频率则认为该节点失效
若节点配置后带有“backup”表示该节点只是个备份节点,仅在所有在线节点都失效该节点才启用。不携带“backup”,表示为主节点,和其它在线节点共同提供服务。
3.5 添加haproxy 系统服务
cp /opt/haproxy-1.5.19/examples/haproxy.init /etc/init.d/haproxy
chmod +x /etc/init.d/haproxy
chkconfig --add /etc/init.d/haproxy
ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy
service haproxy start 或 /etc/init.d/haproxy start
7. 在客户端测试
在客户端使用浏览器打开 http://192.168.10.13,不断刷新浏览器测试负载均衡效果
五、Haproxy集群日志重新定义
默认haproxy的日志是输出到系统的syslog中,查看起来不是非常方便,为了更好的管理haproxy的日志,我们在生产环境中一般单独定义出来。需要将haproxy的info及notice日志分别记录到不同的日志文件中。
需要修改rsyslog配置,为了便于管理。将haproxy相关的配置独立定义到haproxy.conf,并放到/etc/rsyslog.d/下,rsyslog启动时会自动加载此目录下的所有配置文件。
vim /etc/haproxy/haproxy.cfg #更改日志文件 global log /dev/log local0 info log /dev/log local0 notice #重启haproxy服务 service haproxy restart #为了便于管理将haproxy相关的配置独立定义到haproxy.conf vim /etc/rsyslog.d/haproxy.conf if ($programname == 'haproxy' and $syslogseverity-text == 'info') then -/var/log/haproxy/haproxy-info.log &~ if ($programname == 'haproxy' and $syslogseverity-text == 'notice') then -/var/log/haproxy/haproxy-notice.log &~ #将haproxy的info日志记录到/var/log/haproxy/haproxy-info.log下,将notice日志记录到/var/log/haproxy/haproxy-notice.log下 #“&~”表示当日志写入到日志文件后,rsyslog停止处理这个信息。 #重启服务 systemctl restart rsyslog.service
更改日志文件
重启服务
为了便于管理将haproxy相关的配置独立定义到haproxy.conf
使用网页访问192.168.10.13,则会产生对应的日志文件
查看/var/log/haproxy/haproxy-info.log
停止192.168.10.19节点服务器nginx服务,然后再刷新页面,开启节点服务器,则会产生haproxy-notice.log文件
使用tail -f /var/log/haproxy/haproxy-info.log命令可以追踪请求日志信息
六、总结
本文主要讲了haproxy的特性、一些常见的负载均衡策略以及常见的Web集群调服务器,详细讲解了haproxy搭建Web群集的具体步骤。
(1)LVS基于Linux操作系统内核实现软负载均衡,而HAProxy和Nginx是基于第三方应用实现的软负载均衡
(2)LVS是可实现4层的IP负载均衡技术,而HAProxy和Nginx都可以实现4层和7层技术
(3)HAProxy功能强大,但整体性能低于4层模式的LVS负载均衡。



