LVS的安装与使用

第1章 LVS原理及介绍

1.1 LVS简介

LVS是Linux Virtual Server的简写，意思就是Linux虚拟服务器，是一个虚拟的服务器集群系统，可以在UNIX/LINUX平台下实现负载均衡集群功能。该项目在1998年5月由章文嵩博士组织成立，是中国国内最早出现的自由软件项目之一。

LVS项目介绍：

LVS项目主页：http://www.linuxvirtualserver.org/

LVS项目介绍：http://www.linuxvirtualserver.org/zh/lvs1.html

LVS集群的体系结构：http://www.linuxvirtualserver.org/zh/lvs2.html

LVS集群中的IP负载均衡技术：http://www.linuxvirtualserver.org/zh/lvs3.html

LVS集群的负载调度：http://www.linuxvirtualserver.org/zh/lvs4.html

LVS负载均衡调度技术是在Linux内核中实现的，因此，被称之为Linux虚拟服务器（Linux Virtual Server）。我们使用该软件配置LVS时候，不能直接配置内核中的ipvs，而需要使用ipvs的管理工具ipvsadm进行管理。

q  LVS技术点小结：

1、真正实现调度的工具是IPVS，工作在Linux内核层面。

2、LVS自带的IPVS命令行管理工具是ipvsadm。

3、keepalived实现管理IPVS及负载均衡器的高可用。

4、Red hat工具Piranha WEB管理实现调度的工具IPVS。

1.2 简单术语介绍

1.3 DR模式介绍（Direct Routing）

1、通过在调度器LB上修改数据包的目的MAC地址实现转发，注意，源IP地址任然是CIP，目的地址任然是VIP。

2、请求报文经过调度器，而RS响应处理后的报文无需经过调度器LB，因此，并发访问量大时使用效率很高（和NAT模式比）。

3、因DR模式是通过MAC地址的改写机制实现的转发，因此，所有的RS节点和调度器LB只能在一个局域网LAN中（小缺点）。

4、需要注意RS节点的VIP的绑定（lo:vip/32,lo1:vip/32）和ARP抑制问题。

5、强调下：RS节点的默认网关不需要是调度器LB的DIP，而是直接IDC机房分配的上级路由器的IP（这是RS带有外网IP地址的情况），理论讲：只要RS可以出网即可，不是必须要配置外网IP。

6、由于DR模式的调度器仅进行了目的的MAC地址的改写，因此，调度器LB无法改变请求报文的目的端口（和NAT要区别）。

7、当前，调度器LB支持几乎所有的UNIX，LINUX系统，但目前不支持WINDOWS系统。真实服务器RS节点可以是WINDOWS系统。

8、总的来说DR模式效率很高，但是配置也比较麻烦，因此，访问量不是特别大的情况下可以用haproxy或者nginx取代。这符合运维的原则：简单、易用、高效。日1000-2000W PV或并发1万以下都可以考虑使用haproxy/nginx（LVS NAT模式）。

9、直接对外的访问业务，例如：web服务做RS节点，RS最好用公网IP地址。如果不直接对外的业务，例如：MySQL，存储系统RS节点，最好只用内部IP地址。

注：直接路由，最大的特点是不更改源IP和目标IP，改变的是MAC地址

1.4 LVS集群算法

第2章 LVS的安装与配置

2.1 服务规划

2.1.1 服务器规划表

2.1.2 主机IP规划表

2.1.3 主机名解析

172.16.1.16    nginx

172.16.1.17    apache

172.16.1.18    lb01

172.16.1.19    lb02

2.2 安装环境

q  操作系统版本

[[email protected] ~]# cat /etc/redhat-release
CentOS release 6.5 (Final)
[[email protected] ~]# uname -r
2.6.32-431.el6.x86_64
[[email protected] ~]# uname -m
x86_64

q  LVS软件版本

[[email protected] ~]# rpm -qa ipvsadm
ipvsadm-1.26-4.el6.x86_64

2.3 软件安装

2.3.1 安装LVS服务

LVS可以通过yum命令安装，或者通过源码编译的方式安装，在此选择yum安装。分别在两台LVS服务器安装LVS服务，安装过程如下：

q  查看是否已安装inotify

[[email protected] ~]# rpm -qa ipvsadm
[[email protected] ~]#

#<==这里如果没有任何返回值就表明没有安装

q  使用yum命令安装软件

[[email protected] ~]# yum -y install ipvsadm
Loaded plugins: fastestmirror, security
Loading mirror speeds from cached hostfile
*****自动安装过程略****  
Installed:
  ipvsadm.x86_64 0:1.26-4.el6                                                                                                                                                
 
Complete!    #<==安装完成
[[email protected] ~]# ln -s /usr/src/kernels/2.6.32-431.el6.x86_64/ /usr/src/linux    #<==创立软链接
[[email protected] ~]# ll /usr/src/linux

注：如果没有/usr/src/kernels/2.6.32-431.el6.x86_64路径，可能是因为缺少kernel-devel-2.6.18-164.el5软件包，可以通过命令yum -y install kernerl-devel 安装。

q  检测是否安装完毕

[[email protected] ~]# rpm -qa ipvsadm
ipvsadm-1.26-4.el6.x86_64

q  查看内核是否有ip_vs服务运行

[[email protected] ~]# lsmod | grep ip_vs
ip_vs                 125220  0
libcrc32c               1246  1 ip_vs
ipv6                  317340  285 ip_vs

注：如果没有以上三个输出，可以使用命令ipvsadm或者modprobe ip_vs重新加载。

2.3.2 安装其他服务

1）在nginx服务器安装nginx服务，能正常提供访问；

2）在apache服务器安装apache服务，能正常提供访问；

3）在lb01和lb02安装keepalived服务。

[[email protected] ~]# curl nginx
www
[[email protected] ~]# curl apache
apache.www

第3章 配置LVS集群

3.1 手动配置LVS服务

3.1.1 服务端配置

为LVS服务器添加一个虚拟IP地址：

ip addr add 10.0.0.21/24 dev eth0 label eth0:0

清空以前的旧配置：

ipvsadm --help          #<==查看ipvsadm的配置参数
ipvsadm -C              #<==清空所有配置

添加一个虚拟vserver：

ipvsadm -A -t 10.0.0.21:80 -s wrr

参数说明：

-A：--add-service，表示添加一个虚拟服务器

-t：--tcp-service，指定这是一个tcp的虚拟服务器

-u：--udp-service，指定这是一个udp的虚拟服务器

10.0.0.21:80：表示提供服务的ip地址以及端口号

-s：--scheduler，指定调度器，“rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq”选择一种，默认是wlc

为服务器添加real server：

ipvsadm -a -t 10.0.0.21:80 -r 10.0.0.16:80 -g -w 1
ipvsadm -a -t 10.0.0.21:80 -r 10.0.0.17:80 -g -w 1

3.1.2 节点端配置

需要添加到LVS负载均衡器的节点都需做如下配置：

q  绑定VIP

在网卡lo绑定虚拟IP，该虚拟IP同LVS服务器的虚拟IP，即10.0.0.21/24

ip addr add 10.0.0.21/32 dev lo label lo:0
route add -host 10.0.0.21 dev lo

q  设置ARP抑制

echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce

q  抑制参数说明

3.1.3 结果服务验证

访问10.0.0.21:80，查看结果是否轮循。

[[email protected] ~]# curl 10.0.0.21:80
apache.www
[[email protected] ~]# curl 10.0.0.21:80
www
[[email protected] ~]# curl 10.0.0.21:80
apache.www
[[email protected] ~]# curl 10.0.0.21:80
www

3.2 keepalived配置LVS服务

除了手动配置LVS服务器之外，使用keepalived管理LVS是一种更好的选择。keepalived默认就集成了管理LVS的功能，其配置LVS虚拟服务器内容如下：

###############################
#      LVS的配置部分        #
###############################
virtual_server 10.0.0.21 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    nat_mask 255.255.255.0
    #persistence_timeout 50
    protocol TCP
 
    real_server 10.0.0.16 80 {
        weight 1
        TCP_CHECK {
        connect_timeout 5
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
          }
        }
 
    real_server 10.0.0.17 80 {
        weight 1
        TCP_CHECK {
        connect_timeout 5
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
          }
        }
}

原文地址：http://blog.51cto.com/13178102/2063272