构建LVS负载均衡集群

您所在的位置：网站首页 › iphone手机外接u盘怎么用 › 构建LVS负载均衡集群

构建LVS负载均衡集群

2023-06-17 12:38| 来源: 网络整理| 查看: 265

构建LVS负载均衡集群

2023-6-16 阅读次数：6

服务器，负载

LVS即Linux虚拟服务器,目前 LVS 已经被集成到 Linux 内核模块中,该项目在 Linux 内核实现了基于 IP 的数据请求负载均衡调度方案,LVS集群采用IP负载均衡技术和基于内容请求分发技术.调度器具有很好的吞吐率,将请求均衡地转移到不同的服务器上执行,且调度器自动屏蔽掉服务器的故障,从而将一组服务器构成一个高性能的、高可用的虚拟服务器.整个服务器集群的结构对客户是透明的,而且无需修改客户端和服务器端的程序.为此,在设计时需要考虑系统的透明性、可伸缩性、高可用性和易管理性.

LVS(Linux Virtual Server) 的作用

LVS主要用于服务器集群的负载均衡,它工作在网络层,可以实现高性能,高可用的服务器集群技术.它廉价,可把许多低性能的服务器组合在一起形成一个超级服务器.它易用,配置非常简单,且有多种负载均衡的方法.它稳定可靠,即使在集群的服务器中某台服务器无法正常工作,也不影响整体效果.另外可扩展性也非常好.

LVS自从1998年开始,发展到现在已经是一个比较成熟的技术项目了.可以利用LVS技术实现高可伸缩的、高可用的网络服务,例如WWW服务、Cache服务、DNS服务、FTP服务、MAIL服务、视频/音频点播服务等等,有许多比较著名网站和组织都在使用LVS架设的集群系统.

LVS的体系结构,使用LVS架设的服务器集群系统有三个部分组成：

● 最前端的负载均衡层,用Load Balancer表示 ● 中间的服务器集群层,用Server Array表示 ● 最底端的数据共享存储层,用Shared Storage表示

LVS(Linux Virtual Server) 负载均衡机制

LVS是四层负载均衡,也就是说建立在OSI模型的第四层传输层之上,传输层上有我们熟悉的TCP/UDP,LVS支持TCP/UDP的负载均衡.因为LVS是四层负载均衡,因此它相对于其它高层负载均衡的解决办法,比如DNS域名轮流解析、应用层负载的调度、客户端的调度等,它的效率是非常高的.

Load Balancing负载均衡,可以减轻单台服务器压力,不同节点之间相互独立,不共享任何资源.通过一定算法将客户端的访问请求平分到群集的各个节点上,充分利用每个节点的资源.负载均衡扩展了网络设备和服务器带宽,增加吞吐量,加强网络数据处理能力.

负载均衡集群分类

软件实现： LVS RAC MySQLProxy Nginx HaProxy 硬件实现： F5 citrix array 深信服梭子鱼

负载均衡集群的区别

1.触发条件不同

四层负载均衡：工作在传输层,转发数据依靠的是三层的IP地址和四层的端口(PORT). 七层负载均衡：工作在应用层,转发数据依靠URL或主机名.

2.实现原理不同

四层负载均衡：TCP连接建立一次,客户端和RS主机之间. 七层负载均衡：TCP连接建立两次,第一次是客户端和负载调度器,第二次是负载调度器和RS主机.

3.应用场景不同

四层负载均衡：TCP应用为主或者ERP软件七层负载均衡：以HTTP协议为主,例如apache服务器

4.安全性不同

四层负载均衡：转发攻击七层负载均衡：拦截攻击

IPVS：钩子函数,内核机制,在请求没有到达目的地址之前,捕获并取得优先控制权的函数. IPVSADM：工作在用户空间,负责为ipvs内核框架编写规则,定义谁是集群服务,谁是后端真实的服务器.

负载调度算法分类

轮询方式解释 rr(轮循) 从1开始到n结束 wrr(加权轮循) 按权重比例进行调度,权重越大,负责的请求越多. sh(源地址hash) 实现会话绑定,保留之前建立的会话信息.将来自于同一个ip地址的请求发送给一个真实服务器. dh(目标地址hash) 将同一个目标地址的请求,发送给同一个服务器节点.提高缓存命中率. LC(最少连接) 将新的连接请求分配给当前连接数最少的服务器.公式：活动连接*256+非活动连接. WLC(加权最少连接) 最少连接的特殊模式.公式：(活动连接*256+非活动连接)/权重 SED(最短期望延迟) 加权最少连接的特殊模式.公式：(活动连接 +1)*256/权重 NQ(永不排队) sed的特殊模式,当某台真实服务器连接为0时,直接分配不计算. LBLC(基于局部性的最少连接) dh的特殊模式既要提高缓存命中率又要考虑连接数量.先根据请求的目标IP地址寻找最近的该目标IP地址所有使用的服务器,如果这台服务器依然可用,并且有能力处理该请求,调度器会尽量选择相同的服务器,否则会继续选择其它可行的服务器. LBLCR(带复制的基于局部性的最少连接) LBLCR=LBLC+缓存共享机制动态算法既要考虑算法本身,也要考虑服务器状态(原理：通过hash表记录连接状态active/inactive) 静态算法只考虑算法本身,不考虑服务器状态.

下面我们将依次配置三种模式的集群方案,并说明原理.

LVS-NAT 模式

NAT 模式简介

NAT (Network Address Translation）即网络地址转换,其作用是通过数据报头的修改,使位于企业内部的私有IP可以访问外网,以及外部用户可以访问位于公司内部的私有IP主机.LVS-NAT工作模式拓扑结构如下图,所示LVS负载调度器使用两块网卡配置不同的IP地址,eth0,设置为私钥IP与内部网络通过交换设备相互连接, eth1设置为外网IP与外部网络联通.

构建LVS负载均衡集群

原理图解:

a).客户端将请求交给负载调度器,客户端发出数据包,此时这个数据包的源ip为CIP,目标ip为VIP (集群ip). b).数据包到达负载调度器后,修改数据包的目标ip地址为真实服务器的ip,此时数据包的源ip为CIP,目标ip为RIP. c).将数据包发送给RS,之后RS响应将数据包发回给负载调度器,此时数据包的源ip为RIP,目标ip为CIP. d).负载调度器再转发时,会将源ip地址改为自己的VIP地址,然后再发给客户端,此时数据包的源ip为VIP,目标ip为CIP.

LVS-NAT 模式特点:

1.负载调度器和真实服务器,必须位于同一网络. 2.真实服务器的网关必须指向DIP. 3.负载调度器必须位于客户端和真实服务器之间. 4.RIP通常都是私有地址,仅用于各个集群节点通信. 5.支持端口映射,可映射为任意地址. 6.真实服务器可以使用任意操作系统,负载调度器必须是LINUX系统. 7.所有数据报文都要经过负载调度器、压力过大、最多10台RS.

实验环境IP分配:

[实验环境] [类型] [网卡] [IP地址] [接入模式] LVS-NAT ens32 192.168.1.12 桥接 ens32 192.168.20.14 NAT Read-Ser1 ens32 192.168.20.15 NAT Read-Ser2 ens32 192.168.20.16 NAT 配置LVS调度器

1.通过YUM仓库快速安装Ipvsadm内核管理工具.

[root@localhost ~]# yum install -y ipvsadm Package ipvsadm-1.27-7.el7.x86_64 already installed and latest version Nothing to do

2.开启IP转发,让其具有转发数据包的能力.

[root@localhost ~]# echo "1" > /proc/sys/net/ipv4/ip_forward [root@localhost ~]# echo "net.ipv4.ip_forward=1" >> /etc/sysctl.conf [root@localhost ~]# sysctl –p net.ipv4.ip_forward=1

3.配置LVS-NAT调度器,访问本机的80端口自动负载均衡到15-16这两台机器上.

[root@localhost ~]# ipvsadm -A -t 192.168.1.12:80 -s rr #指定网卡1地址 #------------------------------------------------------------------------------- #[参数说明] -A 添加规则 -t TCP 指定分发器VIP -s 指定调度算法 rr 代表轮询round-robin #------------------------------------------------------------------------------- [root@localhost ~]# ipvsadm -a -t 192.168.1.12:80 -r 192.168.20.15 -m [root@localhost ~]# ipvsadm -a -t 192.168.1.12:80 -r 192.168.20.16 -m #------------------------------------------------------------------------------- #[参数说明] -a 添加real-server地址 -r 指定real-server地址 -m 表示masquerade NAT方式的LVS #-------------------------------------------------------------------------------

4.查看并保存结果,下面就是我们的配置结果啦.

[root@localhost ~]# ipvsadm -L -n #查看规则 IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 192.168.1.12:80 rr -> 192.168.20.15:80 Masq 1 0 0 -> 192.168.20.16:80 Masq 1 0 0 [root@localhost ~]# /sbin/ipvsadm-save #保存规则

4.配置防火墙SNAT,指定NAT表的POSTROUTING.

iptables -t nat -A POSTROUTING \ #指定NAT表的POSTROUTING -s 192.168.1.0/24 \ #指定内网的网段 -o eno16777728 \ #指定外网口网卡名称 -j SNAT \ #指定为SNAT --to-source 59.110.167.239 #指定外网卡的地址 [root@localhost ~]# iptables -t nat -L #查看添加的规则配置RS节点

提示:RelServer客户端每个节点都应该配置,每个节点都要执行以下操作

1.安装测试Apache,后端的两台主机都要配置Apache.

[root@localhost ~]# yum install -y httpd [root@localhost ~]# echo "web 1" > /var/www/html/index.html [root@localhost ~]# systemctl restart httpd

2.RelServer节点指定网关,指向主调度器的eth1网口.

[root@localhost ~]# route add default gw 192.168.20.14

LVS-DR 模式

LVS-DR模式简介

DR模式也叫做直接路由模式,其体系如下图所示,该模式中LVS依然承载数据的入站点请求以及算法的合理选择,不同之处在于dR模式只负责接受请求不负责发送,真正发送请求的是后端的主机节点,这样就在一定程度上缓解了服务器的压力,但是本模式要求调度器与后端的主机必须在一个局域网中.

构建LVS负载均衡集群

原理图解:

a)客户端发出数据包,源ip是CIP,目标ip是VIP. b)依靠路由把数据发送给负载调度器,负载调度器将数据包的源MAC地址修改为DIP的MAC地址,将目标MAC地址修改为RIP的MAC地址,此时源ip和目标ip均未修改. c)由于DS和RS在同一网络中,所以通过二层来传输,通过路由再将数据包发到RS. d)RS接收数据包,之后通过lo接口传送给eth0向外发出,此时的源ip是VIP,目标ip为CIP. e)最后通过路由的方式发给客户端.

DR 模式特点:

1.负载路由器和真实服务器,必须位于同一网络. 2.真实服务器的网关必须指向路由器. 3.负载调度只处理入站请求. 4.RIP可以是私有地址,也可以是公网地址. 5.真实服务器可以使用任意操作系统,负载调度器必须是LINUX系统. 6.负载调度器压力较小,支持100台左右的RS.

实验环境IP分配:

[实验环境] [类型] [网卡] [IP地址] [VIP/IO] [接入模式] LVS-DR ens32 192.168.1.5 192.168.1.10(VIP) 桥接 Read-Ser1 ens32 192.168.1.13 192.168.1.10(IO) 桥接 Read-Ser2 ens32 192.168.1.14 192.168.1.10(IO) 桥接 #提示: 如果是在真实环境中 RealServer 应把网关指向路由器eth1口配置LVS调度器

1.通过YUM仓库快速安装Ipvsadm内核管理工具.

[root@localhost ~]# yum install -y ipvsadm Package ipvsadm-1.27-7.el7.x86_64 already installed and latest version Nothing to do

2.修改内核参数,防止相同网络地址广播冲突.

[root@localhost ~]# echo "net.ipv4.conf.all.send_redirects = 0" >> /etc/sysctl.conf [root@localhost ~]# echo "net.ipv4.conf.ens32.send_redirects = 0" >> /etc/sysctl.conf [root@localhost ~]# echo "net.ipv4.conf.default.send_redirects = 0" >> /etc/sysctl.conf [root@localhost ~]# sysctl -p #刷新内核参数 net.ipv4.conf.all.send_redirects = 0 net.ipv4.conf.ens32.send_redirects = 0 net.ipv4.conf.default.send_redirects = 0 [root@localhost ~]# modprobe ip_vs && echo "ok" || echo "error" #查看内核是否加载 ok

3.配置一个网卡子接口,此处我们在ens32接口上配置一个子接口ens32:0,这个子接口也就是VIP的地址,并添加一条路由记录.

[root@localhost ~]# ifconfig ens32 ens32: flags=4163 mtu 1500 inet 192.168.1.5 netmask 255.255.255.0 broadcast 192.168.1.255 inet6 fe80::5fbb:43ab:da3:f589 prefixlen 64 scopeid 0x20 ether 00:0c:29:1e:14:e2 txqueuelen 1000 (Ethernet) RX packets 4597 bytes 5186429 (4.9 MiB) RX errors 0 dropped 0 overruns 0 frame 0 TX packets 1711 bytes 177437 (173.2 KiB) TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0 [root@localhost ~]# ifconfig ens32:0 192.168.1.10 netmask 255.255.255.0 #在ens32添加子接口,VIP的地址 [root@localhost ~]# ifconfig ens32:0 ens32:0: flags=4163 mtu 1500 inet 192.168.1.10 netmask 255.255.255.0 broadcast 192.168.1.255 ether 00:0c:29:1e:14:e2 txqueuelen 1000 (Ethernet) [root@localhost ~]# route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 0.0.0.0 192.168.1.1 0.0.0.0 UG 100 0 0 ens32 192.168.1.0 0.0.0.0 255.255.255.0 U 100 0 0 ens32 [root@localhost ~]# route add -host 192.168.1.10 dev ens32 #在ens32上添加一条路由记录 [root@localhost ~]# route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 0.0.0.0 192.168.1.1 0.0.0.0 UG 100 0 0 ens32 192.168.1.0 0.0.0.0 255.255.255.0 U 100 0 0 ens32 192.168.1.10 0.0.0.0 255.255.255.255 UH 0 0 0 ens32

4.接下来配置我们的LVS负载调度器,指定VIP地址和使用轮询算法,并保存永久生效.

[root@localhost ~]# ipvsadm -A -t 192.168.1.10:80 -s rr #添加虚拟服务指定VIP地址 #--------------------------------------------------------------------------------- #[参数说明] -A 添加规则 -t TCP 指定分发器VIP -s 指定调度算法 rr 代表轮询round-robin #--------------------------------------------------------------------------------- [root@localhost ~]# ipvsadm -a -t 192.168.1.10:80 -r 192.168.1.13:80 -g #针对虚拟服务添加RS节点 [root@localhost ~]# ipvsadm -a -t 192.168.1.10:80 -r 192.168.1.14:80 -g #针对虚拟服务添加RS节点 #--------------------------------------------------------------------------------- #[参数说明] -a 添加real-server地址 -r 指定real-server地址 -m 以NAT模式分配 -g 以DR模式分配 -w 指定权值 #---------------------------------------------------------------------------------

5.检查LVS的轮询配置规则,并保存配置文件,此处记得放行放火墙规则.

[root@localhost ~]# ipvsadm -L -n --stats #查看VIP和RS是否已经配置成功 IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Conns InPkts OutPkts InBytes OutBytes -> RemoteAddress:Port TCP 192.168.1.10:80 0 0 0 0 0 -> 192.168.1.13:80 0 0 0 0 0 -> 192.168.1.14:80 0 0 0 0 0 [root@localhost ~]# /sbin/ipvsadm-save #保存规则配置RS节点

提示:RelServer客户端每个节点都应该配置,每个节点都要执行以下操作如果是图形界面,需要关闭图形管理工具 systemctl stop NetworkManager

1.首先关闭ARP宣告,和ARP转发,这里有两种方法,临时关闭与永久关闭.

#-------------------------------------------------------------------------------- #[临时关闭] [root@localhost ~]# echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore [root@localhost ~]# echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce [root@localhost ~]# echo "1" > /proc/sys/net/ipv4/conf/all/arp_announce [root@localhost ~]# echo "2" > /proc/sys/net/ipv4/conf/all/arp_ignore #-------------------------------------------------------------------------------- #-------------------------------------------------------------------------------- #[永久关闭] [root@localhost ~]# vim /etc/sysctl.conf net.ipv4.conf.ens32.arp_ignore=1 net.ipv4.conf.ens32.arp_announce=2 net.ipv4.conf.all.arp_ignore=1 net.ipv4.conf.all.arp_announce=2 [root@localhost ~]# sysctl -p #--------------------------------------------------------------------------------

2.添加本地回环口,并设置24位的掩码,添加本地回环路由记录,这里设置成VIP的地址.

[root@localhost ~]# ifconfig lo:0 192.168.1.10 netmask 255.255.255.255 #添加本地回环口,设置24位掩码 [root@localhost ~]# route add -host 192.168.1.10 dev lo #添加路由记录

LVS-TUN 模式

LVS-IP-TUN 模式简介

IP-TUN也叫做IP隧道模式,它的配置不受空间的限制,TUN模式的思路就是将请求与相应数据分离,让调度器仅仅处理数据请求,而让真是服务器返回数据包,但是IP隧道模式由于物理主机不在一起,效率比较低下.

构建LVS负载均衡集群

原理图解:

a)客户端发送数据包到负载调度器,此时数据包的源ip为CIP,目标ip为VIP. b)负载调度器会在数据包的外面再次封装一层ip数据包,封装源ip为DIP,目标ip为RIP.此时源ip为DIP,目标ip为RIP. c)之后负载调度器将数据包发给RS（因为在外层封装多了一层ip首部,所以可以理解为此时通过隧道传输）,此时源ip为DIP,目标ip为RIP. d)RS接收到报文后发现是自己的IP地址,就将报文接收下来拆除掉最外层的IP后会发现里面还有一层IP首部,而且目标是自己的lo接口VIP,那么此时RS开始处理此请求,处理完成之后通过lo接口送给eth0网卡,然后向外传递.此时的源IP地址为VIP,目标IP为CIP. e)之后将数据包发给客户端.

IP-TUN隧道模式特点:

1.所有真实服务器节点既要有RIP,又要有VIP,并且RIP、必须是公网ip. 2.负载调度器和真实服务器必须支持隧道功能. 3.负载调度器只处理入站请求. 4.真实服务器一定不能使用负载雕塑群做默认网关. 5.不支持端口映射. 6.可跨互联网搭建集群,对网络环境要求较高.

实验环境IP分配:

[实验环境] [类型] [网卡] [IP地址] [VIP/Tunl] [接入模式] LVS-IPTUN eno16777728 200.168.10.1 200.168.10.10(VIP) 外网IP Read-Ser1 eno16777728 200.168.10.2 200.168.10.10(Tunl) 外网IP Read-Ser2 eno16777728 200.168.10.3 200.168.10.10(Tunl) 外网IP 配置LVS调度器

1.通过YUM仓库快速安装Ipvsadm内核管理工具.

[root@localhost ~]# yum install -y ipvsadm Package ipvsadm-1.27-7.el7.x86_64 already installed and latest version Nothing to do

2.修改内核参数,防止相同网络地址广播冲突.

3.LVS服务器配置虚拟IP,虚拟一个隧道IP,4个255代表它自己一个网段,把网段添加到路由表防止走200.168.10.0网段.

[root@localhost ~]# ifconfig tunl0 200.168.10.10 netmask 255.255.255.255 up #虚拟一个隧道IP 4个255代表它自己一个网段 [root@localhost ~]# route add -host 200.168.10.10 dev tunl0 #把网段添加到路由表防止走 200.168.10.0 网段 [root@localhost ~]# route -n #查看路由

2.设置LVS调度器.

[root@localhost ~]# ipvsadm -C [root@localhost ~]# ipvsadm -A -t 200.168.10.10:80 -s rr [root@localhost ~]# ipvsadm -a -t 200.168.10.10:80 -r 200.168.10.2 -i [root@localhost ~]# ipvsadm -a -t 200.168.10.10:80 -r 200.168.10.3 -i [root@localhost ~]# ipvsadm -L -n --stat 配置RS节点

提示:RelServer客户端每个节点都应该配置,每个节点都要执行以下操作

1.配置网卡子接口.

[root@localhost ~]# ifconfig tunl0 200.168.10.10 netmask 255.255.255.255 up [root@localhost ~]# route add -host 200.168.10.10 dev tunl0

2.修改环境变量,写入配置文件开机自动加载.

[root@localhost ~]# echo "1" > /proc/sys/net/ipv4/conf/tunl0/arp_ignore [root@localhost ~]# echo "2" > /proc/sys/net/ipv4/conf/tunl0/arp_announce [root@localhost ~]# echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore [root@localhost ~]# echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce

3.访问集群IP,测试隧道效果.

[root@localhost ~]# elinks http://200.168.10.10

上一篇：Rsync+Inotify 实现数据同步

下一篇：Nmap 常用命令语法

【本文地址】

公司简介

联系我们