前言
LVS(Linux Virtual Server)Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。通过LVS提供的负载均衡技术和Linux操作系统可实现一个高性能、高可用的服务器群集，从而以低成本实现最优的服务性能。
集群基础
集群简介
集群(Cluster)是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。集群系统的主要优点：高可扩展性、高可用性、高性能、高性价比。
集群类型
LB：Load Balancing 高可拓展，伸缩集群
HA：High Availability 高可用集群
HP：High Performance 高性能集群
集群方案
LB：
硬件级：F5 BIG-IP、Citrix Netscaler、 A10 A10、Array、Redware
软件级：lvs (传输层)、haproxy, nginx (应用层)
HA：
heartbeat 、corosync + pacemaker、 cman + rgmanager、cman + pacemaker、keepalived
HP:
hadoop
LVS详解
LVS组成
ipvsadm：用于管理集群服务的命令行工具，工作于Linux系统中的用户空间。
ipvs：为lvs提供服务的内核模块，工作于内核空间
LVS术语
VIP：Director用来向外部提供服务的IP地址,也就是DNS通过域名解析到的IP
RIP：集群节点（后台真正提供服务的服务器）所使用的IP地址
DIP：Director用来和RIP进行交互的IP地址
CIP：客户端使用的IP或公网IP
RS:集群节点服务器Real server
LVS类型
LVS-NAT：Network Address Translation 网络地址转换
LVS-DR：Direct Routing 直连路由
LVS-TUN：Tunneling 隧道
LVS各类型特性
NAT类型的特性：
①RS应用使用私有地址，RS的网关必须指向DIP
②请求和响应都要经过Director，高负载场景中，Director易成为性能瓶颈
③支持端口映射
④RS可以使用任意OS
DR类型的特性：
①保证前端路由将目标地址为VIP的报文统统发往Directory，而不能是RS
解决方案：
(1) 静态地址绑定：在前端路由器上操作
前提：必须要有路由操作权限
(2) aprtables
(3) 修改RS上内核参数，将RS上的VIP配置在lo接口的别名上，并限制其不能响应对VIP地址解析请求
②RS可以使用私有地址，但也可以使用公网地址，此时可通过互联网通过RIP对其直接访问
③RS跟Directory必须在同一物理网络中
④请求报文经由Director，但响应报文必须不能经过Director
⑤不支持端口映射
⑥RS可以是大多数常见的OS
⑦RS的网关绝不允许指向DIP
TUN类型的特性:
①RIP、VIP、DIP全部是公网地址
②RS的网关不会也不可能指向DIP
③请求报文经由Director，但响应报文必须不能经过Director
④不支持端口映射
⑤RS的OS必须支持隧道功能
LVS调度算法
静态方法：仅根据调度算法本身进行调度
rr: round robin，轮流，轮询，轮叫 wrr: weighted round robin, 加权轮询 sh：source hashing，session绑定 dh: destination hashing, 目标地址hash
动态方法：根据算法及各RS当前的负载状况进行调度
lc: least connection，最少连接 wlc: weighted lc，加权最少连接 sed: shortest expection delay，最少期望延迟 nq: never queue，永不排队 lblc: Locality-Based Least Connection，基于局部性的最少连接 lblcr：Replicated lblc，基于局部性的带复制功能的最少连接
LVS配置（ipvsadm）
命令格式
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] ipvsadm -D -t|u|f service-address ipvsadm -C ipvsadm -R ipvsadm -S [-n] ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight] [-x upper] [-y lower] ipvsadm -d -t|u|f service-address -r server-address ipvsadm -L|l [options] ipvsadm -Z [-t|u|f service-address] ipvsadm --set tcp tcpfin udp ipvsadm --start-daemon state [--mcast-interface interface] [--syncid syncid] ipvsadm --stop-daemon state ipvsadm -h
命令详解
定义集群服务： -A 添加一个集群服务 -D 删除一个集群服务 -E 修改一个集群服务 -t VIP:端口 定义集群服务的类型为TCP的某个端口 -u VIP:端口 定义集群服务的类型为UDP的某个端口 -f 防火墙标记 定义集群服务的类型为防火墙标记 -s 调度算法 指定集群服务的调度算法 定义集群节点： -a 添加一个节点到集群服务 -d 从集群服务中删除一个节点 -e 修改集群服务器中的节点 -r 节点IP:端口 定义节点的IP及类型 -m 定义为NAT模型 -g 定义为DR模型 -i 定义为TUN模型 -w 权重 定义服务器的权重 查看已经定义的集群服务及RS： ipvsadm -L -n -c: 查看各连接 --stats: 统计数据 --rate: 速率 --exact: 精确值 从集群服务中删除RS： ipvsadm -d -t|u|f service-address -r server-address 删除集群服务： ipvsadm -D -t|u|f service-address 清空所有的集群服务： ipvsadm -C 保存集群服务定义： ipvsadm -S > /path/to/some_rule_file ipvsadm-save > /path/to/some_rule_file 让规则文件中的规则生效： ipvsadm -R < /path/from/some_rule_file ipvsadm-restore < /path/from/some_rule_file
LVS-NAT模型
配置过程
#以下实验都是临时性配置，若要永久生效，请自行配置 Real Server 1 #ifconfig eth0 172.16.10.100/16 up #route add default gw 172.16.10.12 Real Server 2 #ifconfig eth0 172.16.10.212/16 up #route add default gw 172.16.10.12 Director Server #ifconfig eth0 192.168.1.10/24 up #ifconfig eth1 172.16.10.12/16 up #yum -y install ipvsadm #echo 1 > /proc/sys/net/ipv4/ip_forward #ipvsadm -A -t 192.168.1.10:80 -s rr #ipvsadm -a -t 192.168.1.10:80 -r 172.16.10.100 -m #ipvsadm -a -t 192.168.1.10:80 -r 172.16.10.212 -m
LVS-DR模型
上面说了NAT模型的实现方式,但NAT模型有个缺陷,因为进出的每个数据包都要经过Director Server,当集群系统负载过大的时候Director Server将会成为整个集群系统的瓶颈,而DR模型就避免了这样的情况发生,DR模型在只有请求的时候才会经过Director Server, 回应的数据包由Real Server 直接响应用户不需要经过Director Server。
配置过程
内核参数： arp_ignore: 定义接收到ARP请求时的响应级别 0：只要本地配置的有相应地址，就给予响应 1：仅在请求的目标地址配置请求到达的接口上的时候，才给予响应 arp_announce：定义将自己地址向外通告时的通告级别 0：将本地任何接口上的任何地址向外通告 1：试图仅向目标网络通告与其网络匹配的地址 2：仅向与本地接口上地址匹配的网络进行通告
Real Server 1 #ifconfig eth0 172.16.10.100/16 up #echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore #echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore #echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce #echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce #ifconfig lo:0 192.168.1.10 netmask 255.255.255.255 broadcast 192.168.1.10 up #route add -host 192.168.1.10 dev lo:0 Real Server 2 #ifconfig eth0 172.16.10.212/16 up #echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore #echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore #echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce #echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce #ifconfig lo:0 192.168.1.10 netmask 255.255.255.255 broadcast 192.168.1.10 up #route add -host 192.168.1.10 dev lo:0 Director Server #ifconfig eth0 172.16.10.12/16 up #ifconfig eth0:0 192.168.1.10 netmask 255.255.255.255 broadcast 192.168.1.10 up #echo 1 > /proc/sys/net/ipv4/ip_forward #route add -host 192.168.1.10 dev eth0:0 #yum install ipvsadm -y #ipvsadm -A -t 192.168.1.10:80 -s rr #ipvsadm -a -t 192.168.1.10:80 -r 172.16.10.100 -g #ipvsadm -a -t 192.168.1.10:80 -r 172.16.10.212 -g
基于LVS实现web服务器负载均衡
实验拓扑
环境介绍
系统环境：CentOS6.6
Director Server：192.168.1.10（VIP） 172.16.10.12（DIP）
Real Server 1:192.168.1.10（VIP） 172.16.10.100（RIP ）
Real Server 2:192.168.1.10（VIP） 172.16.10.212（RIP ）
PHP服务器：172.16.10.110
NFS服务器：172.16.10.110
数据库服务器：172.16.10.211
要求：web服务器上部署discuz，基于LVS实现负载均衡
NFS服务器配置
创建共享目录，并设置权限
编辑配置文件，设置共享目录及客户端
[[email protected] ~]# vim /etc/exports /web/discuz 172.16.10.100(rw,sync) 172.16.10.212(rw,sync)
站点文件准备
[[email protected] ~]# unzip Discuz_7.2_FULL_SC_GBK.zip [[email protected] ~]# chmod -R 777 upload [[email protected] ~]# mv upload/* /web/discuz/ [[email protected] ~]# chown -R apache.apache /web/discuz
启动服务，设置开机自启
数据库服务器配置
RS1和RS2配置
配置VIP
配置虚拟主机
[[email protected] ~]# vim /etc/httpd24/extra/httpd-vhosts.conf <VirtualHost *:80> DocumentRoot "/web/discuz" ProxyRequests Off ProxyPassMatch ^/(.*\.php)$ fcgi://172.16.10.110:9000/web/discuz/$1 </VirtualHost>
挂载共享目录
#可设置开机自动挂载 [[email protected] ~]# vim /etc/fstab 172.16.10.110:/web/discuz /web/discuz nfs defaults,_netdev 0 0
检查语法，启动服务
Director Server配置
配置VIP
定义集群
安装测试及访问测试
安装完成，我们来发一个帖子测试一下
过一会儿，刷新一下页面
此过程中是否实现了负载均衡，我们在Director Server上查看一下是哪台服务器响应的请求就知道了
由此可见，基于LVS实现web服务器的负载均衡功能已完成
The end
OK，基于LVS的负载均衡就说到这里了，负载均衡集群的配置还是比较简单的，几条命令就搞定了，不要因为简单看一眼就略过，只有理解原理结合实践才能真正掌握知识，配置过程中遇到问题可留言呦。以上仅为个人学习整理，如有错漏，大神勿喷~~~