LVS-DR模式 + Keepalived 高可用群集

引言
一、LVS-DR 模式详解
- 1. DR 模式特点
- 2. 数据包流向分析
- 3. DR 模式中的 ARP 问题
二、Keepalived
- 1. 概述
- 2. 优点
- 3. Keepalived实现原理
三、LVS-DR+Keepalived部署
- 1. 案例环境
- 2. LVS 主、备服务器配置
- 3. Web服务器配置
- 4. 访问客户端
- 5. 配置 keepalived
- 5. 模拟msater故障
总结

引言

在这个高度信息化的 IT 时代，企业的生产系统、业务运营、销售和支持，以及日常管理等环节越来越依赖于计算机信息和服务，使得对高可用技术的应用需求大量上升，以便提供持续的、不间断的计算机系统或网络服务。

一、LVS-DR 模式详解 1. DR 模式特点

Director Server 和 Real Server 必须在同一-个物理网络中。
Real Server 可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联网对RIP进行直接访问。
Director Server 作为群集的访问入口，但不作为网关使用。
所有的请求报文经由 Director Server，但回复响应报文不能经过 Director Server。
Real Server 的网关不允许指向 Director Server IP，即 Real Server 发送的数据包不允许经过 Director Server。
Real Server 上的 lo 接口配置 VIP 的 IP 地址。

2. 数据包流向分析

在同一局域网中：

客户端向目标 VIP 发送请求，负载均衡器接收
负载均衡器根据负载均衡算法选择后端真实服务器，不修改也不封装IP报文，而是将数据帧的 MAC 地址改为后端真实服务器的MAC地址，然后在局域网上发送
后端真实服务器收到这个帧，解封装后发现目标 IP 与本机匹配（事先绑定了VIP），于是处理这个报文。
随后重新封装报文，将响应报文通过 lo 接口传送给物理网卡然后向外发出客户端将收到回复报文；客户端认为得到正常的服务，而不会知道是哪一台服务器处理的如果跨网段，则报文通过路由器经由 Internet 返回给用户

3. DR 模式中的 ARP 问题

① 在LVS-DR 负载均衡集群中，负载均衡与节点服务器都要配置相同的VIP地址。
② 在局域网中具有相同的IP地址，势必会造成各服务器ARP通信的紊乱。
当 ARP 广播发送到 LVS-DR 集群时，因为负载均衡器和节点服务器都是连接到相同网络上，它们都会接收到ARP广播。
只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播。
③ 对节点服务器进行处理，使其不响应针对VIP的ARP请求。
使用虚接口 lo:0 承载 VIP 地址
设置内核参数 arp_ignore=1: 系统只响应目的 IP 为本地 IP 的 ARP 请求
④ RealServer 返回报文（源IP是VIP）经路由器转发，重新封装报文时，需要先获取路由器的MAC地址。
⑤ 发送 ARP 请求时，Linux 默认使用 IP 包的源 IP 地址（即VIP）作为 ARP 请求包中的源 IP 地址，而不使用发送接口的IP地址，如：ens33。
⑥ 路由器收到 ARP 请求后，将更新 ARP 表项
⑦ 原有的 VIP 对应 Director 的 MAC 地址会被更新为 VIP 对应 RealServer 的 MAC 地址
⑧ 路由器根据 ARP 表项，会将新来的请求报文转发给 RealServer，导致 Director 的 VIP 失效；
解决方法：对节点服务器进行处理，设置内核参数 arp_announce=2：系统不使用 IP 包的源地址来设置 ARP 请求的源地址，而选择发送接口的IP地址。
解决ARP的两个问题的设置方法

#修改 /etc/sysctl.conf 文件
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

二、Keepalived 1. 概述

Keepalived 的设计目标是构建高可用的 LVS 负载均衡群集，可以调用 ipvsadm 工具来创建虚拟服务器，管理服务器池，而不仅仅是用作双机热备。

2. 优点

使用 Keepalived 构建 LVS 群集更加简便易用，主要优势在于

对 LVS 负载调度器实现热备切换，提高可用性；
支持故障自动切换；
支持节点健康状态检查；
判断LVS负载调度器、节点服务器的可用性，当master主机出现故障及时切换到backup节点保证业务正常，当 master 故障主机恢复后将其重新加入群集并且业务重新切换回 master 节点（优先级）。

3. Keepalived实现原理

keepalived 采用 VRRP 热备份协议实现 Linux 服务器的多机热备功能
VRRP（虚拟路由冗余协议）是针对路由器的一种备份解决方案。
由多台路由器组成一个热备份组，通过共用的虚拟IP地址对外提供服务
每个热备组内同时只有一台主路由器提供服务，其他路由器处于冗余状态，若当前在线的路由器失效，则其他路由器会根据设置的优先级自动接替虚拟IP地址，继续提供服务

snmp 通过网络管理服务器、交换机、路由器等设备的一种协议
在keepalived SNMP管理的是健康检查(状态)
在监控中也会通过snmp 监控、获取被监控服务器的数据

三、LVS-DR+Keepalived部署 1. 案例环境

服务器	IP地址	工具
主负载调度器（Director1）	ens33：192.168.8.13	ipvsadm、keepalived（热备）
备负载调度器（Director2）	ens33：192.168.8.14	ipvsadm、keepalived
web服务器1	ens33：192.168.8.15	/
lo:0 (VIP)	192.168.8.100	httpd
web服务器2	ens33：192.168.8.16	/
lo:0 (VIP)	192.168.8.100	httpd
centos客户端	192.168.8.10	web浏览器
centos客户端	192.168.8.17	web浏览器

拓扑图

2. LVS 主、备服务器配置

systemctl stop firewalld.service
setenforce 0

yum -y install ipvsadm
modprobe ip_vs    									 #加载ip_vs模块
cat /proc/net/ip_vs  								 #查看ip_vs版本信息
----------------------------------------------------------------------------------------------
#LVS1配置：
cd /etc/sysconfig/network-scripts/
cp -p ifcfg-ens33 ifcfg-ens33:0
[root@diretor1 /etc/sysconfig/network-scripts]#vim ifcfg-ens33:0

DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.8.100
NETMASK=255.255.255.255

ifup ens33:0
ifconfig ens33:0
systemctl restart network
vim /etc/sysctl.conf		
	net.ipv4.ip_forward = 0		 						#关闭路由转发
	net.ipv4.conf.all.send_redirects = 0		 		#关闭所有重定向
	net.ipv4.conf.default.send_redirects = 0		 	#关闭默认重定向
	net.ipv4.conf.ens33.send_redirects = 0
sysctl -p
-------------------------------------------------------------------------------------------------
#LVS2配置：
cd /etc/sysconfig/network-scripts/
cp -p ifcfg-ens33 ifcfg-ens33:0
[root@diretor1 /etc/sysconfig/network-scripts]#vim ifcfg-ens33:0

DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.8.100
NETMASK=255.255.255.255

ifup ens33:0
ifconfig ens33:0
systemctl restart network
vim /etc/sysctl.conf		
	net.ipv4.ip_forward = 0		 						#关闭路由转发
	net.ipv4.conf.all.send_redirects = 0		 		#关闭所有重定向
	net.ipv4.conf.default.send_redirects = 0		 	#关闭默认重定向
	net.ipv4.conf.ens33.send_redirects = 0
sysctl -p
-----------------------------------------------------------------------------------------------
#两台lvs同配置
modprobe ip_vs                                          #开启ipvsadm
cat /proc/net/ip_vs

ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm
systemctl status ipvsadm

vim /opt/dd.sh
#!/opt/dd.sh
	ipvsadm -C		##清除表中所有记录
	ipvsadm -A -t 192.168.8.100:80 -s rr	
	ipvsadm -a -t 192.168.8.100:80 -r 192.168.8.15:80 -g	
	ipvsadm -a -t 192.168.8.100:80 -r 192.168.8.16:80 -g	
	ipvsadm
ipvsadm -Lnc

3. Web服务器配置

#Web1和Web2同配置：

cd /etc/sysconfig/network-scripts/
vim ifcfg-lo:0

DEVICE=lo:0
IPADDR=192.168.8.100
NETMASK=255.255.255.255
# If you're having problems with gated making 127.0.0.0/8 a martian,
# you can change this to something else (255.255.255.255, for example)
#BROADCAST=127.255.255.255
ONBOOT=yes
#NAME=loopback

ifcfg lo:0
route add -host 192.168.8.100 dev lo:0 						 #禁锢路由
route -n
vim /etc/rc.local		 									 #配置启动管理执行路由禁锢
	/sbin/route add -host 192.168.8.100 dev lo:0
yum -y install httpd
systemctl start httpd
---------------------------------------------------------------------------------------------
#调整内核的ARP响应参数，以阻止更新VIP的MAC地址，避免冲突
vim /etc/sysctl.conf
	net.ipv4.conf.lo.arp_ignore = 1                          #环形接口的策略
	net.ipv4.conf.lo.arp_announce = 2		 			     #环形接口的响应策略
	net.ipv4.conf.all.arp_ignore = 1						 #所有接口的策略
	net.ipv4.conf.all.arp_announce = 2		 				 #所有接口的响应策略
#web1:
vim /var/www/html/index.html
	
	
	
	this is haha web
	
	
web2:
vim /var/www/html/index.html
	
	
	
	this is hehe web

4. 访问客户端

[root@diretor1 /etc/sysconfig/network-scripts]#sh -x /opt/dd.sh 
+ ipvsadm -C
+ ipvsadm -A -t 192.168.8.100:80 -s rr
+ ipvsadm -a -t 192.168.8.100:80 -r 192.168.8.15:80 -g
+ ipvsadm -a -t 192.168.8.100:80 -r 192.168.8.16:80 -g
+ ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  diretor1:http rr
  -> 192.168.8.15:http            Route   1      0          0         
  -> 192.168.8.16:http            Route   1      0          0

访问 192.168.8.100，刷新查看效果

5. 配置 keepalived

两台 LVS 服务器安装

yum -y install keepalived
cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak

vim keepalived.conf
	global_defs {               						#定义全局参数
    	  router_id lvs_01								#热备组内的设备名称不能一致
}
	vrrp_instance vi_1 {      						    #定义VRRP热备实例参数
    	  state MASTER         						    #指定热备状态，主为master，备为backup
     	 interface ens33      							#指定承载vip地址的物理接口
    	  virtual_router_id 51 							#指定虚拟路由器的ID号，每个热备组保持一致
   	 	  priority 110		   							#指定优先级，数值越大越优先
    	  advert_int 1
      	authentication {		 						#加密
           auth_type PASS		
           auth_pass 6666
 }
	virtual_ipaddress {        							#指定集群VIP地址
      192.168.8.100
}
}
	#指定虚拟服务器地址vip，端口，定义虚拟服务器和web服务器池参数
	virtual_server 192.168.8.100 80 { 
      lb_algo rr                						#指定调度算法，轮询（rr）
      lb_kind DR										#指定集群工作模式，直接路由DR
      persistence_timeout 6								#健康检查的间隔时间
      protocol TCP										#应用服务采用的是TCP协议
}
	#指定第一个web节点的地址，端口
	real_server 192.168.8.15 80 {
      weight 1											#节点权重
      TCP_CHECK {
          connect_port 80								#添加检查的目标端口
          connect_timeout 3								#添加连接超时
          nb_get_retry 3								#添加重试次数
          delay_before_retry 3							#添加重试间隔
   }
}
	#指定第二个web节点的地址，端口
	real_server 192.168.8.16 80 {
      weight 1
      TCP_CHECK {
          connect_port 80
          connect_timeout 3
          nb_get_retry 3
          delay_before_retry 3
   }
}
}


#两台LVS服务器均开启keepalived
systemctl  start  keepalived
systemctl  status keepalived
ip a		 											#查看虚拟网卡信息
若查看不到，就在两台lvs服务器刷一遍脚本
sh -x /opt/dd.sh
ipvsadm -Ln

浏览器访问

5. 模拟msater故障

systemctl stop keepalived 		       #模拟主挂掉

ip a  								   #lvs1没有VIP

VIP漂移至LVS2上面
浏览器访问依然可以看到页面

总结

Keepalived 主要针对 LVS 群集应用而设计，提供故障切换和健康检查功能。在非 LVS群集环境中,也可用来实现多机热备功能。
Keepalived 的配置文件为 keepalived.conf，主、备服务器的配置区别主要在于路由器名称、热备状态、优先级。
漂移地址（VIP) 由 Keepalived 根据热备状态自动指定，不需要手动设置。LVS群集的服务器池 keepalived.conf文件中预先配置，不需要手动执行ipvsadm工具。
通过 LVS+Keepalived 的结合使用，可以实现服务器的高可用负载均衡群集。

LVS-DR模式 + Keepalived 高可用群集

this is haha web

this is hehe web

Linux相关栏目本月热门文章