LVS(Linux Virtual Server)

什么是LVS?

LVS(Linux Virtual Server,Linux虚拟服务器),是一个虚拟的服务器集群系统,本项目在1998年5月由章文嵩博士成立,是中国国内最早出现的开源项目之一,目前已被集成到 Linux 内核模块中。该项目在 Linux 内核中实现了基于TCP层的IP数据负载均衡分发,其工作在内核空间且仅做负载均衡分发处理,所以稳定性相对较好,性能相对较强,对内存及CPU资源的消耗也最低。

为什么要用LVS?

随着 Internet 的爆炸性增长以及日常生活中的日益重要的作用,Internet 上的流量速度增长,以每年100%以上的速度增长。服务器上的工作负载压力也迅速增加,因此服务器在短时间内将会过载,尤其是对于受欢迎的网站而言。为了克服服务器的过载压力问题,有两种解决方案。

  1. 单服务器解决方案:增加原有服务器的规格,应对服务器压力过载
  2. 多服务器解决方案:构建服务器集群,动态增加服务器数量,应对峰值压力
    • 基于DNS的负载均衡集群 —— 从域名解析到IP的过程进行负载均衡
    • 基于分派器的负载均衡集群 —— 通过对四层/七层请求进行负载均衡分发

LVS的组成及作用

image-20220718151433404

一般来说,LVS集群采用三层结构,其主要组成部分为:

  1. 负载均衡调度器:它是整个集群对外面的前端机,负责将客户的请求发送到一组服务器上执行,而客户认为服务是来自一个IP地址(VIP)上的。
  2. 服务器池:是一组真正执行客户请求的服务器,执行的服务有WEB、MAIL、FTP和DNS等。
  3. 共享存储:它为服务器池提供一个共享的存储区,这样很容易使得服务器池拥有相同的内容,提供相同的服务。

LVS代码由两部分组成,包括 ipvs 和 ipvsadm

  • ipvs(ip virtual server):LVS是基于内核态的 netfilter 框架实现的 ipvs 功能,工作在内核态。
  • ipvsadm:ipvsadm 是 LVS 用户态的配套工具,可以实现 VIP 和 RS 的 增删改查功能,是基于 netlink 或 raw socket 方式与内核 LVS 进行通信。

ipvs 和 ipvsadm 的可以类比为 netfilter 和 iptables 的关系

LVS相关术语

image-20220718160834065

首先需要解释LVS中的几种IP:

RS:Real Server,后端服务器

VS:Virtual Server,LVS服务器

VIP:Virtual IP,LVS服务器上接收外网数据包的网卡IP地址。

DIP:Director IP,LVS服务器上转发数据包到RealServer的网卡IP地址。

RIP:RealServer(简称RS)接收Director转发数据包的IP,即提供服务的服务器IP。

CIP:客户端的IP。

访问流程:CIP <–> VIP == DIP <–> RIP

LVS基本工作原理

img

LVS的基本工作原理如下:

  1. 用户向负载均衡调度器发起请求,然后调度器将请求发往内核空间;
  2. PREROUTING链首先会接收到用户请求,判断目标IP确定是本机IP,然后将数据包发往INPUT链;
  3. 由于IPVS是工作在INPUT链上的,当用户请求到达INPUT时,IPVS会将用户请求和自己已定义好的集群服务进行比对,如果用户请求的就是定义的集群服务,那么此时IPVS就会强行修改数据包里的目标IP地址及端口,并将新的数据包发往POSTROUTING链;
  4. POSTROUTING链接收数据包后发现目标IP地址刚好是自己的后端服务,那么此时通过选路,将数据包发送给后端的服务器。

LVS的三种工作模式:

  1. LVS-NAT:修改请求报文的目标IP,多目标IP的DNAT
  2. LVS-DR:操纵封装新的MAC地址
  3. LVS-TUN:在原请求IP报文之外新加一个IP首部

① LVS的NAT模式

VS/NAT的体系结构

VS/NAT:本质是多目标IP的DNAT,通过将请求报文中的目标地址和目标端口修改为某台 RS 的 RIP 和 PORT 实现转发

NAT模式的特点:

  1. RIP和DIP应在同一个IP网络,且应使用私网地址;RS的网关要指向DIP
  2. 请求报文和响应报文都必须经由Director转发,因此Director容易成为系统瓶颈
  3. 支持端口映射,可修改请求报文的目标PORT
  4. VS必须是Linux系统,RS可以是任意的OS系统

img

NAT模式转发流程概述:

  1. 当用户请求到达Director Server,此时请求的数据报文会先到内核空间的PREROUTING链。(此时报文的源IP为CIP,目标IP为VIP)
  2. PREROUTING检查发现数据包的目标IP是本机,于是将数据包送至INPUT链;
  3. IPVS比对数据包请求的服务是否为集群服务,若是,修改数据包的目标IP地址为后端服务器IP,然后将数据包发送至POSTROUTING链。(此时,报文的源IP为CIP,目标IP为RIP)
  4. POSTROUTING链通过选路,将数据包发送给RealServer;
  5. RealSever比对发现目标为自己的IP,开始构建响应报文发回给Director Server。(此时报文的源IP为RIP,目标IP为CIP)
  6. Director Server在响应客户端前,此时会将源IP地址修改为自己的VIP地址,然后响应给客户端。(此时报文的源IP为VIP,目标IP为CIP)

② LVS-DR

VS/DR的体系结构

VS/DR:Direct Routing,直接路由,LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行转发,源MAC是DIP所在的接口的MAC,目标MAC是某挑选出的RS的RIP所在接口的MAC地址;源IP+端口,以及目标IP+端口均保持不变。

DR模式的特点:

  1. Director和各RS都配置有VIP。
  2. 确保前端路由器将目标IP为VIP和Director的MAC地址。
  3. RS的RIP可以使用私网地址,也可以是公网地址;RIP与DIP在同一IP网络;RIP的网关不能指向DIP,以确保响应报文不会经由Director。
  4. RS和Director要在同一个物理网络。
  5. 请求报文要经由Director,但响应报文不经由Director,而由RS直接发往Client。
  6. 不支持端口映射(端口不能修改)。
  7. 无需开启ip_forward。
  8. RS可使用大多数OS系统。

img

DR模式转发流程概述:

  1. 当用户请求到达Director Server,此时请求的数据报文会先到内核空间的PREROUTING链。(此时报文的源IP为CIP,目标IP为VIP)
  2. PREROUTING检查发现数据包的目标IP是本机,于是将数据包送至INPUT链;
  3. IPVS比对数据包请求的服务是否为集群服务,若是,将请求报文中的源MAC地址修改为DIP的MAC地址,将目标MAC地址修改RIP的MAC地址,然后将数据包发至POSTROUTING链。 此时的源IP和目的IP均未修改,仅修改了源MAC地址为DIP的MAC地址,目标MAC地址为RIP的MAC地址;
  4. 由于DS和RS在同一个网络中,所以是通过二层来传输。POSTROUTING链检查目标MAC地址为RIP的MAC地址,那么此时数据包将会发至Real Server;
  5. RS发现请求报文的MAC地址是自己的MAC地址,就接收此报文。处理完成之后,将响应报文通过lo接口传送给eth0网卡然后向外发出。此时的源IP地址为VIP,目标IP为CIP;
  6. 响应报文最终送达至客户端。

③ LVS-TUN

VS/TUN的体系结构

VS/TUN:不修改请求报文的IP首部(源IP为CIP,目标IP为VIP),而在原IP报文之外再封装一个IP首部(源IP是DIP,目标IP是RIP),将报文发往挑选出的目标RS;RS直接响应给客户端(源IP是VIP,目标IP是CIP)

TUN模式特点:

  1. RIP和DIP可以不处于同一物理网络中,RS的网关一般不能指向DIP,且RIP可以和公网通信。也就是说集群节点可以跨互联网实现(DIP、VIP、RIP可以是公网地址)。
  2. RealServer的tun接口上需要配置VIP地址,以便接收Director转发过来的数据包,以及作为响应的报文源IP。
  3. Director转发给RealServer时需要借助隧道,隧道外层的IP头部的源IP是DIP,目标IP是RIP,而RealServer响应给客户端的IP头部是根据隧道内层的IP头分析得到的,源IP是VIP,目标IP是CIP。
  4. 请求报文要经由Director,但响应不经由Director,响应由RealServer自己完成。
  5. 不支持端口映射。
  6. RS的OS必须支持隧道功能。

img

  1. 当用户请求到达Director Server,此时请求的数据报文会先到内核空间的PREROUTING链;(此时报文的源IP为CIP,目标IP为VIP)
  2. PREROUTING检查发现数据包的目标IP是本机,将数据包送至INPUT链;
  3. IPVS比对数据包请求的服务是否为集群服务,若是,在请求报文的首部再次封装一层IP报文,封装源IP为为DIP,目标IP为RIP。然后发至POSTROUTING链。(此时源IP为DIP,目标IP为RIP)
  4. POSTROUTING链根据最新封装的IP报文,将数据包发至RS,因为在外层封装多了一层IP首部,所以可以理解为此时通过隧道传输;(此时源IP为DIP,目标IP为RIP)
  5. RS接收到报文后发现是自己的IP地址,就将报文接收下来,拆除掉最外层的IP后,会发现里面还有一层IP首部,而且目标是自己的lo接口的VIP,那么此时RS开始处理此请求,处理完成之后,通过lo接口送给eth0网卡,然后向外传递。(此时的源IP地址为VIP,目标IP为CIP)
  6. 响应报文最终送达至客户端。

三种方法的常见应用场景

_ VS/NAT VS/TUN VS/DR
服务器类型 任意 支持隧道功能更 非ARP设备
服务器网络 private LAN/WAN LAN
服务器数量 10~20台 100+台 100+台
服务器网关 负载均衡器 路由器 路由器

ipvsadm工具介绍

程序包:ipvsadm

Unit File:ipvsadm.service

主程序:/usr/sbin/ipvsadm

规则保存工具:/usr/sbin/ipvsadm-save

规则重载工具:/usr/sbin/ipvsadm-restore

配置文件:/etc/sysconfig/ipvsadm-config

ipvs调度规则文件:/etc/sysconfig/ipvsadm

ipvsadm命令

ipvsadm核心功能:

  • 集群服务、RealServer的管理:增、删、改、查

ipvsadm工具用法:

# 管理集群服务
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] 
[--pe persistence_engine] [-b sched-flags] # -t,tcp | -u,udp | -f firewall-mark
ipvsadm -D -t|u|f service-address #删除
ipvsadm –C #清空
ipvsadm –R #重载,相当于ipvsadm-restore
ipvsadm -S [-n] #保存,相当于ipvsadm-save

# 管理集群中的RS
ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]  
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]

LVS实战案例

LVS-NAT模式案例

image-20220720161027600

环境说明:

  • 一台 Client (网卡:仅主机模式;Gateway:无)
  • 一台 LVS(网卡1:仅主机模式,网卡2:NAT模式)
  • 两台 RS(网卡:NAT模式;Gateway:设置为DIP)

LVS-Server 配置:

# 安装ipvsadm
yum install -y ipvsadm

# 定义集群服务规则
ipvsadm -A -t 172.25.0.144:80 -s rr

# 定义集群中的RS规则(-m:masquerade,NAT类型)
ipvsadm -a -t 172.25.0.144:80 -r 10.0.8.103:80 -m
ipvsadm -a -t 172.25.0.144:80 -r 10.0.8.104:80 -m

# 或者,采用加权轮询算法(-s wrr),把 Web-Server1 权重修改为3
ipvsadm -E -t 172.25.0.144:80 -s -wrr
ipvsadm -e -t 172.25.0.144:80 -r 10.0.8.103:80 -m -w 3

# 开启ip_forward
echo "net.ipv4.ip_forward=1" >> /etc/sysctl.conf
sysctl -p

# 保存规则
ipvsadm -Sn > /etc/sysconfig/ipvsadm
systemctl enable --now ipvsadm.service

# 查看规则
[root@lvs-server ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.25.0.144:80 rr
  -> 10.0.8.103:80                Masq    1      0          0
  -> 10.0.8.104:80                Masq    1      0          0

配置测试(轮询):

image-20220720161307210

LVS-DR模式案例

LVS-TUN模式案例

参考链接

版权声明:本文为SkyBiuBiu原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://www.cnblogs.com/Skybiubiu/p/16493435.html