负载均衡LVS—ipvsadm应用详解

环境：64位Centos 6.4

1、在director上安装ipvsadm工具（这里使用RPM包）

//挂载光盘，搜索ipvsadm工具安装包

[[email protected] ~]# mount /dev/cdrom /media/cdrom/

[[email protected] ~]# cd /media/cdrom/Packages

[[email protected] Packages]# ll |grep ipvsadm

//安装ipvsadm工具

[[email protected] Packages]# yum install ipvsadm-1.25-10.el6.x86_64.rpm

2、ipvsadm的相关参数和用法

//使用man ipvsadm或ipvsadm --help查看ipvsadm用法

[[email protected] ~]# man ipvsadm

NAME

ipvsadm - Linux Virtual Server administration

SYNOPSIS

ipvsadm -A|E -t|u|f service-address [-s scheduler]

[-p [timeout]] [-O] [-M netmask]

ipvsadm -D -t|u|f service-address

ipvsadm -C

ipvsadm -R

ipvsadm -S [-n]

ipvsadm -a|e -t|u|f service-address -r server-address

[-g|i|m] [-w weight] [-x upper] [-y lower]

ipvsadm -d -t|u|f service-address -r server-address

ipvsadm -L|l [options]

ipvsadm -Z [-t|u|f service-address]

ipvsadm --set tcp tcpfin udp

ipvsadm --start-daemon state [--mcast-interface interface]

[--syncid syncid]

ipvsadm --stop-daemon state

ipvsadm -h

其中：

第一个service-address:是指虚拟服务器的IP地址l

第二个service-address:是指的真实服务器的IP地址

scheduler：指定调度算

ipvsadm命令参数选项详细含义如下所示：

-A (--add-service) 在内核的虚拟服务器列表中添加一条新的虚拟IP记录。也就是增加一台新的虚拟服务器。虚拟IP也就是虚拟服务器的IP地址。

-E (--edit-service) 编辑内核虚拟服务器列表中的一条虚拟服务器记录

-D (--delete-service) 删除内核虚拟服务器列表中的一条虚拟服务器记录

-C (--clear) 清除内核虚拟服务器列表中的所有规则

-R (--restore) 恢复虚拟服务器规则

-S (--save) 保存虚拟服务器规则，输出为-R 选项可读的格式

-a (--add-server) 在内核虚拟服务器列表的一条记录里添加一条新的Real Server记录。也就是在一个虚拟服务器中增加一台新的Real Server

-e (--edit-server) 编辑一条虚拟服务器记录中的某条Real Server记录

-d (--delete-server) 删除一条虚拟服务器记录中的某条Real Server记录

-L|-l –list 显示内核中虚拟服务器列表

-Z (--zero) 虚拟服务器列表计数器清零（清空当前的连接数量等）

--set tcp tcpfin udp 设置连接超时值

-t 说明虚拟服务器提供的是tcp服务，此选项后面跟如下格式：

[virtual-service-address:port] or [real-server-ip:port]

-u 说明虚拟服务器提供的是udp服务，此选项后面跟如下格式：

[virtual-service-address:port] or [real-server-ip:port]

-f  fwmark 说明是经过iptables标记过的服务类型

-s   此选项后面跟LVS使用的调度算法

有这样几个选项： rr|wrr|lc|wlc|lblc|lblcr|dh|sh

默认的调度算法是： wlc

-p  [timeout] 在某个Real Server上持续的服务时间。也就是说来自同一个用户的多次请求，将被同一个Real Server处理。此参数一般用于有动态请求的操作中，timeout 的默认值为360 分钟。例如：-p 600，表示持续服务时间为600分钟。

-r 指定Real Server的IP地址，此选项后面跟如下格式：

[real-server-ip:port]

-g (--gatewaying) 指定LVS 的工作模式为直接路由模式（此模式是LVS 默认工作模式）

-i (-ipip) 指定LVS 的工作模式为隧道模式

-m (--masquerading) 指定LVS 的工作模式为NAT模式

-w (--weight) weight 指定Real Server的权值

-c (--connection) 显示LVS目前的连接信息 如：ipvsadm -L -c

-L --timeout 显示“tcp tcpfin udp”的timeout值，如：ipvsadm -L --timeout

-L --daemon 显示同步守护进程状态，例如：ipvsadm -L –daemon

-L  --stats 显示统计信息，例如：ipvsadm -L –stats

-L  --rate 显示速率信息，例如：ipvsadm -L  --rate

-L  --sort 对虚拟服务器和真实服务器排序输出，例如：ipvsadm -L --sort

注： 保存添加的虚拟ip记录和ipvsadm的规则可以使用service ipvsadm save，还可以用-S或--save。清除所有记录和规则除了使用-C，还以使用--clear。

3、应用实例

（1) 实例1（nat模式）

Step1:NAT模式拓扑图

NAT模式的拓扑图，如图1所示：图1：NAT模式拓扑图

Step2：IP地址规划

根据拓扑图，给设备接口规划IP地址如表1所示

表1 IP地址规划

说明：由于是NAT模式，所以根据NAT模式工作原理可知director设备有两块网卡分别连接外网和内网，当外部用户访问内部的服务器时，访问的IP地址是director连接外网的IP地址。内部的服务器的IP地址与director连接内网的IP地址在一个网段，并且服务器的网关要指向director连接内网的IP。

Step3：打开director的路由转发功能

[[email protected] ~]# vim /etc/sysctl.conf

[[email protected] ~]# sysctl -p   //刷新路由协议

Step4：添加虚拟IP记录和规则

[[email protected] ~]# ipvsadm -A -t 61.130.130.1:80 -s rr

[[email protected] ~]# ipvsadm -a -t 61.130.130.1:80 -r 192.168.2.102 -m

[[email protected] ~]# ipvsadm -a -t 61.130.130.1:80 -r 192.168.2.103 -m

说明：rr表示采用轮询调度算法，这里还可以采用其他调度算法如wrr(加权轮询调度算法)，在使用加权轮询调度算法时，还可以在添加规则时改变权值，一般默认权值为1，如改变到Web Server1的权值为5，操作如下：

ipvsadm -a -t 61.130.130.1:80 -r 192.168.2.102 -w 5 -m

//查看记录和规则

[[email protected] ~]# ipvsadm -l -n

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port           Forward Weight ActiveConn InActConn

TCP  61.130.130.1:80 rr

-> 192.168.2.102:80              Route   1      0          0

-> 192.168.2.103:80              Route   1      0          0

(2) 实例2（DR模式）

Step1：DR模式拓扑图

DR模式的拓扑图，如图2所示：

 图2 DR模式的拓扑图

Step2：IP地址规划

根据拓扑图，给设备接口规划IP地址如表2所示

表2 IP地址规划表

说明：根据DR模式的工作原理可知，director和真是服务器在同一个网络中，而在dirctor设备上vsip应该在物理接口的别名上，物理接口上则配置内网中不同于vsip的地址，而真实服务器的物理接口上配置与director物理接口同一网段的IP地址，除此之外还要在逻辑接口上配置vsip，因为改地址是虚拟的所以应把子网掩码设置为4个255。例如director的vsip地址配置如下：

进入图形界面后，找到网络设备，然后新添加配置如3所示：

图3 director设备visp设置

配置完后重新启动网络服务，使用service network restart命令，如果启动没有出现或失败，先关闭图形界面网络服务，使用service NetworkManager stop命令，然后在重新使用service network restart命令启动。

Step3：添加虚拟IP记录和规则

[[email protected] ~]# ipvsadm -A -t 192.168.2.101:80 -s rr

[[email protected] ~]# ipvsadm -a -t 192.168.2.101:80 -r 192.168.2.102 -g

[[email protected] ~]# ipvsadm -a -t 192.168.2.101:80 -r 192.168.2.103 -g

说明：rr表示采用轮询调度算法，这里还可以采用其他调度算法如wrr(加权轮询调度算法)，在使用加权轮询调度算法时，还可以在添加规则时改变权值，一般默认权值为1，如改变到Web Server1的权值为5，操作如下：

ipvsadm -a -t 192.168.2.101:80 -r 192.168.2.102 -w 5 -g

//查看记录和规则

[[email protected] ~]# ipvsadm -l -n

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port           Forward Weight ActiveConn InActConn

TCP  192.168.2.101:80 rr

-> 192.168.2.102:80              Route   1      0          0

-> 192.168.2.103:80              Route   1      0          0

Step4：查看，并修改服务器中arp的相关参数

//查看服务器的arp_announce和arp_ignore

[[email protected] ~]# sysctl -a |grep arp*

//修改服务器的arp_announce和arp_ignore

[[email protected] ~]# echo "net.ipv4.conf.eth0.arp_announce = 2" >> /etc/sysctl.conf

[[email protected] ~]# echo "net.ipv4.conf.eth0.arp_ignore = 1" >> /etc/sysctl.conf

[[email protected] ~]# sysctl -p

说明：arp_announce有3个值，分别为0、1和2，其中0为默认值。0表示将使用任意本地的IP地址，配置在任何接口上；1表示尽量避免使用本地的IP地址；2表示总是使用最好的本地地址。arp_ignore有8个值，分为0、1、2、3....8，其中默认是0，而这里选择1,1表示只有当收到本地IP地址消息时才回应，否则忽略。

负载均衡LVS—ipvsadm应用详解