LVS集群_Linux

介绍

LVS：Linux Virtual Server

LVS（Linux Virtual Server）即Linux虚拟服务器，是由章文嵩博士主导的开源负载均衡项目，目前LVS已经被集成到Linux内核模块中。该项目在Linux内核中实现了基于IP的数据请求负载均衡调度方案，其体系结构如图1所示，终端互联网用户从外部访问公司的外部负载均衡服务器，终端用户的Web请求会发送给LVS调度器，调度器根据自己预设的算法决定将该请求发送给后端的某台Web服务器，比如，轮询算法可以将外部的请求平均分发给后端的所有服务器，终端用户访问LVS调度器虽然会被转发到后端真实的服务器，但如果真实服务器连接的是相同的存储，提供的服务也是相同的服务，最终用户不管是访问哪台真实服务器，得到的服务内容都是一样的，整个集群对用户而言都是透明的。最后根据LVS工作模式的不同，真实服务器会选择不同的方式将用户需要的数据发送到终端用户，LVS工作模式分为NAT模式、TUN模式、以及DR模式。

LVS的模型中有两个角色：
调度器:Director，又称为Dispatcher，Balancer。调度器主要用于接受用户请求。
真实主机:Real Server，简称为RS。用于真正处理用户的请求。

而为了更好地理解，我们将所在角色的IP地址分为以下三种：

Director Virtual IP:调度器用于与客户端通信的IP地址，简称为VIP
Director IP:调度器用于与RealServer通信的IP地址，简称为DIP。
Real Server : 后端主机的用于与调度器通信的IP地址，简称为RIP。

lvs scheduler：lvs调度器，即lvs挑选RS的算法

静态方法：仅根据算法本身进行调度	
	RR：round robin，轮调、轮询
    WRR：weighted rr，加权的rr，根据一定的比例进行轮调，比如每次RS1给2个请求，RS2给1个请求
    SH：source  hash，源地址hash，实现session保持的机制，将来自于同一个IP的请求始终调度至同一RS，每个服务单独调度
    DH：destination hash，目标地址hash，将对同一个目标（资源）的请求始终发往同一个RS
    
动态方法：根据算法及各RS的当前负载状态进行调度，根据指定的算法算出overhead（负载），最终挑选出overhead值最小的则为被选中的RS
    LC：Least Connection，最少连接数，算法如下：
        overhead = Active * 256 + Inactive
    WLC：Weighted LC，加权的LC，算法如下：
        overhead=（Active*256+Inactive）/ weight
    SED：Shortest Expection Delay，最短期望延迟，算法如下：
        overhead = （Active + 1） * 256 / weight
    NQ：Nevel Queue，是SED算法的改进，根据SED算法每台主机第一次至少要均分配一次，然后再按SED算法来挑选
    LBLC：Locality-based LC，基于本地的最少连接数，即为动态的DH算法
        正向代理情形下的cache server调度
    LBLCR：Locality-based Least-Connection with Replication，带复制功能的LBLC算法

LVS工作原理

LVS-NAT
NAT（Network Address Translation）即网络地址转换，其作用是通过数据报头的修改，使得位于企业内部的私有IP地址可以访问外网，以及外部用用户可以访问位于公司内部的私有IP主机。

原理：基于ip伪装MASQUERADES，多目标DNAT。所有请求和响应都经由Director调度器。

LVS-TUN
在LVS（NAT）模式的集群环境中，由于所有的数据请求及响应的数据包都需要经过LVS调度器转发，如果后端服务器的数量大于10台，则调度器就会成为整个集群环境的瓶颈。我们知道，数据请求包往往远小于响应数据包的大小。因为响应数据包中包含有客户需要的具体数据，所以LVS（TUN）的思路就是将请求与响应数据分离，让调度器仅处理数据请求，而让真实服务器响应数据包直接返回给客户端。

原理：基于隧道封装技术。在IP报文的外卖再包一层IP报文。
当Director接收到请求的时候，选举出调度的RealServer
当接受到从Director而来的请求时，RealServer则会使用lo接口上的VIP直接响应CIP。
这样CIP请求VIP的资源，收到的也是VIP响应。

LVS-DR

原理：当Director接收到请求之后，通过调度方法选举出RealServer。
讲目标地址的MAC地址改为RealServer的MAC地址。
RealServer接受到转发而来的请求，发现目标地址是VIP。RealServer配置在lo接口上。
处理请求之后则使用lo接口上的VIP响应CIP。

LVS-NAT模式配置http负载均衡

,三台服务器分别配置了对应的本地静态地址DIP和RIP，且在一个内网中。

DR有两块网卡，一块IP是内网的DIP，另一块IP是公网IP的VIP

RS的网关指向DIP

配置ip地址信息

#DR需两块网卡
[root@DR ~]# ip a
1: lo:  mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens160:  mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 00:0c:29:2f:dc:34 brd ff:ff:ff:ff:ff:ff
    inet 192.168.8.129/24 brd 192.168.8.255 scope global noprefixroute ens160
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fe2f:dc34/64 scope link 
       valid_lft forever preferred_lft forever
3: ens224:  mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 00:0c:29:2f:dc:3e brd ff:ff:ff:ff:ff:ff
    inet 192.168.46.129/24 brd 192.168.46.255 scope global dynamic noprefixroute ens224
       valid_lft 1787sec preferred_lft 1787sec
    inet6 fe80::2667:64f9:f55f:29ce/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever

#RS-1网关指向DR
[root@RS-1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens160
GATEWAY=192.168.8.129
[root@RS-1 ~]# systemctl restart NetworkManager
[root@RS-1 ~]# ifdown ens160 ;ifup  ens160
[root@RS-1 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.8.129   0.0.0.0         UG    100    0        0 ens160
192.168.8.0     0.0.0.0         255.255.255.0   U     100    0        0 ens160
[root@RS-1 ~]# ip a
1: lo:  mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens160:  mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 00:0c:29:13:fa:e6 brd ff:ff:ff:ff:ff:ff
    inet 192.168.8.131/24 brd 192.168.8.255 scope global noprefixroute ens160
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fe13:fae6/64 scope link 
       valid_lft forever preferred_lft forever

#RS-2网关指向DR
[root@RS-2 ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens160
GATEWAY=192.168.8.129
[root@RS-2 ~]# systemctl restart NetworkManager
[root@RS-2 ~]# ifdown ens160 ;ifup  ens160
[root@RS-2 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.8.129   0.0.0.0         UG    100    0        0 ens160
192.168.8.0     0.0.0.0         255.255.255.0   U     100    0        0 ens160

[root@RS-2 ~]# ip a
1: lo:  mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens160:  mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 00:0c:29:0c:d0:dc brd ff:ff:ff:ff:ff:ff
    inet 192.168.8.132/24 brd 192.168.8.255 scope global noprefixroute ens160
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fe0c:d0dc/64 scope link 
       valid_lft forever preferred_lft forever

DR上开启IP转发

[root@DR ~]# echo 'net.ipv4.ip_forward = 1' >> /etc/sysctl.conf 
[root@DR ~]# sysctl -p
net.ipv4.ip_forward = 1

DR上配置lvs-nat的转发机制

#LVS依赖于ipvsadm来进行配置，所以我们首先先安装ipvsadm
[root@DR ~]# yum -y install ipvsadm

[root@DR ~]# ipvsadm -At 192.168.46.129:80 -s rr
[root@DR ~]# ipvsadm -at 192.168.46.129:80 -r 192.168.8.131:80 -m
[root@DR ~]# ipvsadm -at 192.168.46.129:80 -r 192.168.8.132:80 -m

#保存配置信息并查看规则
[root@DR ~]# ipvsadm -Sn > /etc/sysconfig/ipvsadm
[root@DR ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.46.129:80 rr
  -> 192.168.8.131:80             Masq    1      0          0         
  -> 192.168.8.132:80             Masq    1      0          0

RS上安装httpd并启动

[root@RS-1 ~]# yum -y install httpd
[root@RS-1 ~]# echo 'this is RS-1' > /var/www/html/index.html
[root@RS-1 ~]# systemctl restart httpd

[root@RS-2 ~]# yum -y install httpd
[root@RS-2 ~]# echo 'this is RS-2' > /var/www/html/index.html
[root@RS-2 ~]# systemctl restart httpd

LVS-DR模式配置http负载均衡

LVS服务器配置要点

LVS是被编译进内核中，主要分为两部分ipvs和ipvsadm，ipvs是LVS软件核心，是运行在LB上的，这是个基于ip层的负载均衡；ipvsadm是用户空间的集群管理工具。

要想起到负载均衡效果，那么所有请求报文必须发往LVS服务器(DS)，然后DS根据指定算法分发到后端服务器上，因此DS必须配置VIP地址，VIP是与公网client通信地址，这样DS才能接受到请求报文进行分发。

一定要先设置好内核参数在配置VIP，如果先配置VIP，VIP配置好后会立即通告给所有人，而修改内核参数就是为了不通告

LVS-DR模式的注意情况：

DR的VIP 和 RS 必须在同一个网段，不然广播后所有的包都会丢掉：提前确认LVS/硬件LB 是什么模式，是否需要在同一个网段所有的RS都必须绑定VIP的IP地址，否则RS收到package后发现dst 不是自己的IP，所有包都会丢掉。 RS处理完包后直接把package 通过dst IP 发送给 client ，不通过LVS/迎接IP 了这样的LVS /VIP 效率会更高一点。

DR上配置IP

[root@DR ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens160
IPADDR1=192.168.8.100
[root@DR ~]# ifdown ens160 ;ifup ens160 
[root@DR ~]# ip a
ens160:  mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 00:0c:29:2f:dc:34 brd ff:ff:ff:ff:ff:ff
    inet 192.168.8.129/24 brd 192.168.8.255 scope global noprefixroute ens160
       valid_lft forever preferred_lft forever
    inet 192.168.8.100/24 brd 192.168.8.255 scope global secondary noprefixroute ens160
       valid_lft forever preferred_lft forever

RS上配置arp内核参数

#两台RS都需做此操作。 添加下列两行内容
[root@RS-1 ~]# cat /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
[root@RS-1 ~]# sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

[root@RS-2 ~]# cat /etc/sysctl.conf 
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
[root@RS-2 ~]# sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

RS上配置VIP

一定要先设置好内核参数在配置VIP，如果先配置VIP，VIP配置好后会立即通告给所有人，而修改内核参数就是为了不通告

DR服务器的网卡的IP:192.168.8.50作为VIP

[root@RS-1 network-scripts]# vim ifcfg-ens160
IPADDR1=192.168.8.100
[root@RS-1 ~]# ifdown ens160 ;ifup ens160 

[root@RS-2 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens160
IPADDR1=192.168.8.100
[root@RS-2 ~]# ifdown ens160 ;ifup ens160

DR上配置lvs-dr转发规则

[root@DR ~]# yum -y install ipvsadm

[root@DR ~]# ipvsadm -A -t 192.168.8.50:80 -s rr
[root@DR ~]# ipvsadm -a -t 192.168.8.50:80 -r 192.168.8.131:80 -g
[root@DR ~]# ipvsadm -a -t 192.168.8.50:80 -r 192.168.8.132:80 -g
[root@DR ~]# ipvsadm -Sn
-A -t 192.168.8.50:80 -s rr
-a -t 192.168.8.50:80 -r 192.168.8.130:80 -g -w 1
-a -t 192.168.8.50:80 -r 192.168.8.131:80 -g -w 1

[root@DR ~]# ipvsadm -Sn > /etc/sysconfig/ipvsadm

RS上安装httpd并启动

[root@RS-1 ~]# yum -y install httpd
[root@RS-1 ~]# echo 'RS-1' > /var/www/html/index.html
[root@RS-1 ~]# systemctl enable --now httpd
Created symlink /etc/systemd/system/multi-user.target.wants/httpd.service → /usr/lib/systemd/system/httpd.

[root@RS-2 ~]# yum -y install httpd
[root@RS-2 ~]# echo 'RS-2' > /var/www/html/index.html
[root@RS-2 ~]# systemctl enable --now httpd
Created symlink /etc/systemd/system/multi-user.target.wants/httpd.service → /usr/lib/systemd/system/httpd.

LVS集群

Linux相关栏目本月热门文章