负载均衡（LVS DR模式搭建，DR只用一个公网ip，Keepalived+LVS DR)

一、LVS DR模式搭建

准备工作

三台机器：

分发器，dir：192.168.52.100

rs1：192.168.52.101  (网关改回来，之前nat模式改成100）

rs2: 192.168.52.102  (网关改回来，之前nat模式改成100）

vip:192.168.52.200   （这个虚拟ip需要绑定在每台机器上）

分发器dir上：

[[email protected] ~]# iptables -F

[[email protected] ~]# vim /usr/local/sbin/lvs.dr.sh

#! /bin/bash

echo 1 > /proc/sys/net/ipv4/ip_forward

ipv=/usr/sbin/ipvsadm

vip=192.168.52.200

rs1=192.168.52.101

rs2=192.168.52.102

#注意这里的网卡名字

ifdown ens33

ifup ens33

ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up

route add -host $vip dev ens33:2

$ipv -C

$ipv -A -t $vip:80 -s wrr

$ipv -a -t $vip:80 -r $rs1:80 -g -w 1

$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

[[email protected] ~]# sh /usr/local/sbin/lvs.dr.sh

成功断开设备 'ens33'。

成功激活的连接（D-Bus 激活路径：/org/freedesktop/NetworkManager/ActiveConnection/1）

rs1:192.168.52.101和rs2:192.168.52.102都执行以下脚本

[[email protected] ~]# vim /usr/local/sbin/lvs_rs.sh

#/bin/bash

vip=192.168.52.200

#把vip绑定在lo上，是为了实现rs直接把结果返回给客户端

ifdown lo

ifup lo

ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up

route add -host $vip lo:0

#以下操作为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端

#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html

echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

[[email protected] ~]# sh /usr/local/sbin/lvs_rs.sh

测试：DR模式是没有办法用浏览器显著的看出结果，也不能用rs1,rs2访问，因为vip绑定在lo上，他们会默认访问自己，最好的办法就是从新开启一个虚拟机，ip设置在同一网段，用curl查看。

二、DR模式只用一个IP实现

在前面加一个路由器，原理就是让 路由器把所有的80端口请求都分给VIP，分发器再分给每个web服务器，而web服务器处理完请求后跟客户连接就不走分发器了，直接通过路由器去外网了，这样就实现了只用一个公网IP也能用DR模式

先从内网找了三台服务器分别是：

192.168.1.166 web1

192.168.1.167 web2

192.168.1.160 分发器

192.168.1.169 VIP

192.168.1.1   路由器内网ip(网关) 路由器是随便找的一台tplink adal路由器，凑合着测试用的

211.83.113.119 路由器的WAN口IP (随便蒙的,重复莫怪)

先安装ipvsadm 直接yum install ipvsadm就行了，不多说

分发器上的设置

global_defs {

notification_email {

[email protected]

}

notification_email_from [email protected]

smtp_server smtp.qq.com

smtp_connect_timeout 30

router_id LVS_DEVEL

}

vrrp_sync_group VG1 {

group{

VI_1

}

}

vrrp_instance VI_1 {

state MASTER

interface eth0

virtual_router_id 51

priority 100

advert_int 1

authentication {

auth_type PASS

auth_pass 33210

}

virtual_ipaddress {

192.168.1.169

}

virtual_server 192.168.1.169 80 {

delay_loop 6

lb_algo rr

lb_kind DR

protocol TCP

real_server 192.168.1.166 80 {

weight 1

inhibit_on_failure

TCP_CHECK {

connect_timeout 5

nb_get_retry 3

delay_before_retry 3

connect_port 80

}

}

real_server 192.168.1.167 80 {

weight 1

inhibit_on_failure

TCP_CHECK {

connect_timeout 5

nb_get_retry 3

delay_before_retry 3

connect_port 80

}

}

配置文件写完了，然后就是

mkdir /etc/keepalived  #系统默认会到这里去找配置文件

cp /usr/local/keepalive/etc/keepalived/keepalived.conf /etc/keepalived/

cp /usr/local/keepalive/etc/rc.d/init.d/keepalived /etc/init.d/

cp /usr/local/keepalive/etc/sysconfig/keepalived /etc/sysconfig/

cp /usr/local/keepalive/sbin/keepalived /bin/ #将可执行程序放入sbin 或者 bin目录里

vim /etc/sysctl.conf

net.ipv4.ip_forward = 1

保存退出 后执行sysctl -p

route add defaule gw 192.168.1.1 把路由内网地址添加为默认网关

web服务器设置

两台web服务器也要修改 /etc/sysctl.conf 修改内容如下

vim /etc/sysctl.conf

# LVS

net.ipv4.conf.all.arp_ignore = 1

net.ipv4.conf.all.arp_announce = 2

net.ipv4.conf.lo.arp_ignore = 1

net.ipv4.conf.lo.arp_announce = 2

sysctl -p

之后还要增加vip

ifconfig lo:1 192.168.1.169 netmask 255.255.255.255 别忘了加到rc.local里面

route add defaule gw 192.168.1.1 把路由内网地址添加为默认网关

路由器设置

路由器的设置没什么好说的，除了上网设置以外还要做一个端口映射，就是把80端口映射到 vip上也就是192.168.1.169

现在启动keepalived吧

/etc/init.d/keepalived start

开始的时候比较慢，大概1分钟后系统日志里面出现下面这条记录就OK了

avahi-daemon[3012]: Registering new address record for 192.168.1.169 on eth0

我们访问一下 http://211.83.113.119

我把我们的应用程序放到了上面跑了一下，呵呵测试成功

ipvsadm -L -n

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port           Forward Weight ActiveConn InActConn

TCP  192.168.1.169:80 rr

-> 192.168.1.166:80             Route   1      5          6

-> 192.168.1.167:80             Route   1      3          9

后来遇到了一个问题，由于这套应用处在一个大网站的后台，所以大部分的请求都来自同一个IP地址，而有一部分程序需要给每个连接做session粘滞，

这样我就不能用lvs 的-p参数来设置ip粘滞时间，如果用lvs的粘滞时间的话大部分的请求都将分给同一台web服务器(注意：这里是session粘滞而不是IP粘滞)，

lvs可做不到这点，怎么办呢？

在cu论坛上询问后得知有很多朋友做过类似的项目，他们的解决办法是 将session共享，共享到什么地方就有很多选择了

我们是把所有web服务器的php session都给memcached ，这样你不管分发器把 ip连接分给哪个web服务器都不会有问题了，配置方法很简单，就在php的配置文件内

增加一条语句就可以了，不过前提你需要装好memcache模块

[Session]

; Handler used to store/retrieve data.

session.save_handler = memcache

session.save_path = "tcp://192.168.1.161:11213"



三、keepalived + LVS DR

1.完整架构需要两台分发器（角色为dir），两台dir上要安装keepalived软件，目的是实现高可用，但keepalived本身也有负载均衡的功能，所以当一台分发器宕机后，不会影响工作，本次实验装一台Keeplived

2.keepalived内置了ipvsadm的功能，所以不需要暗转ipvsadm包，也不用编写和执行dir上的脚本，但是两台rs上的脚本还是要编写和执行的。

3.keepalived有一个较好的功能，如果后台一台rs宕机，便不会再把请求发送过去。

4.在进行实验之前，需要执行2条命令，把之前ipvsadm规则清空掉，重新加载网卡，把之前设置的vip清空掉。

[[email protected] ~]# ipvsadm -C

[[email protected] ~]# ipvsadm -ln

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port           Forward Weight ActiveConn InActConn

[[email protected] ~]# systemctl restart network

配置：

编写dir上keepalived的配置文件如下：

vrrp_instance VI_1 {

#备用服务器上为 BACKUP

state MASTER

#绑定vip的网卡为ens33，你的网卡可能不一样

interface ens33

virtual_router_id 51

#备用服务器上为90

priority 100

advert_int 1

authentication {

auth_type PASS

auth_pass aminglinux

}

#设置vip

virtual_ipaddress {

192.168.52.200

}

}

virtual_server 192.168.52.200 80 {

#(每隔10秒查询realserver状态)

delay_loop 10

#(lvs 算法)

lb_algo rr

#(DR模式)

lb_kind DR

#(同一IP的连接60秒内被分配到同一台realserver)

persistence_timeout 60

#(用TCP协议检查realserver状态)

protocol TCP

real_server 192.168.52.101 80 {

#(权重)

weight 100

TCP_CHECK {

#(10秒无响应超时)

connect_timeout 10

nb_get_retry 3

delay_before_retry 3

connect_port 80

}

}

real_server 192.168.52.102 80 {

weight 100

TCP_CHECK {

connect_timeout 10

nb_get_retry 3

delay_before_retry 3

connect_port 80

}

}

}

配置两台rs的配置文件如下：

rs1:192.168.52.101和rs2:192.168.52.102都执行以下脚本

[[email protected] ~]# vim /usr/local/sbin/lvs_rs.sh

#/bin/bash

vip=192.168.52.200

#把vip绑定在lo上，是为了实现rs直接把结果返回给客户端

ifdown lo

ifup lo

ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up

route add -host $vip lo:0

#以下操作为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端

#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html

echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

[[email protected] ~]# sh /usr/local/sbin/lvs_rs.sh

测试：在dir上启动keepalived,查看Ipvsadm的规则。和LVS DR模式一样，需要配置一台同网段的虚拟机测试，浏览器看不出结果。

[[email protected] ~]# systemctl start keepalived

[[email protected] ~]# ipvsadm -ln

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port           Forward Weight ActiveConn InActConn

TCP  192.168.52.200:80 rr persistent 60

-> 192.168.52.101:80            Route   100    0          0

-> 192.168.52.102:80            Route   100    0          0

原文地址：http://blog.51cto.com/13407306/2067530

时间： 2024-11-11 19:23:09

负载均衡（LVS DR模式搭建，DR只用一个公网ip，Keepalived+LVS DR)的相关文章

微服务管理平台nacos虚拟ip负载均衡集群模式搭建

一.Nacos简介 Nacos是用于微服务管理的平台,其核心功能是服务注册与发现.服务配置管理. Nacos作为服务注册发现组件,可以替换Spring Cloud应用中传统的服务注册于发现组件,如:Eureka.consul等,支持服务的健康检查. Nacos作为服务配置中心,可以替换Spring Cloud Config. 当然Nacos作为一个微服务管理平台,除了面向spring Cloud,还支持很多其他的微服务基础设施,如:docker.dubbo.kubernetes等.除了核心的服务

负载均衡，NAT模式搭建

director设置 一.yum安装ipvsadm yum -y install ipvsadm 二,将配置写入脚本运行二.建个脚本 vim ipvsadm.sh #! /bin/bash #director服务器上开启路由转发功能: echo 1 > /proc/sys/net/ipv4/ip_forward #关闭 icmp 的重定向 echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects echo 0 > /proc/sys/net/

一个公网地址部署LVS/DR模式

http://blog.chinaunix.net/uid-7411781-id-3436142.html 网上看了很多关于LVS的文章,在选取2种模式LVS/DR和LVS/NAT,看到很多人的观点都认为DR模型中必须要使用多个公网地址,既DIP,VIP,RIP必须在同一网段内 刚开始我的想法也是如此,所知道的唯一的解决方案就是在LVS集群之前再加一台路由器,用路由器做静态NAT转换,后端的LVS集群则使用DR 模式.不过这样一来就比较耗成本,要有一台路由器专门负责NAT的转换工作,而且压力都转

LVS介绍、LVS调度算法、LVS NAT模式搭建

一:LVS介绍和LVS调度算法 LB 集群的架构如下图,原理也很简答,就是当用户的请求过来时,会直接发到分发器(Director Server)上,然后它把用户的请求根据预先设置好的算法,智能均衡地分发到后端的真正服务器(real server)上.如果不同的机器,可能用户请求到的数据不一样,为了避免这样的情况发生,所以用到了共享存储,这样保证所有用户请求的数据是一样的. LVS 是一个实现负载均衡集群的开源软件项目,LVS 架构从逻辑上可分为调度层(Director).server集群层(Re

18.6 负载均衡集群介绍；18.7 LVS介绍；18.9 LVS NAT模式搭建(上）；18.10 LVS NAT模式搭建(下）

扩展: lvs 三种模式详解 http://www.it165.net/admin/html/201401/2248.html lvs几种算法 http://www.aminglinux.com/bbs/thread-7407-1-1.html 关于arp_ignore和 arp_announce http://www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html lvs原理相关的   http://blog.csdn.net/pi9nc/

LVS DR模式搭建，keepalived + lvs

笔记内容: 18.11 LVS DR模式搭建 18.12 keepalived lvs 笔记日期:2017-11-13 18.11 LVS DR模式搭建 在实际生产环境中DR模式是用得最多的,NAT模式都用得比较少,因为NAT有一个瓶颈,服务器少还行,一旦服务器多的话,就不行了.所以DR模式才是重点,这一章节介绍如何搭建DR模式. 准备工作: 准备三台机器,一台作为分发器(dir),其他两台作为Real Server.三台机器都可以使用同一网段的IP,与NAT模式不同的是,三台机器都需要绑定一个

负载均衡集群介绍、LVS介绍及调度算法、LVS NAT模式搭建

负载均衡集群介绍 实现负载均衡集群的软件有:LVS.keepalived.Nginx.haproxy等.其中LVS属于四层(网络OSI模型):Nginx 属于七层:haproxy既可以认为是四层,也可以当作是七层使用. keepalived 的负载均衡功能其实就是lvs LVS.haproxy这种四层负载均衡可以分发除80端口以外的通信,如mysql-3306:而nginx 仅仅支持http,https,mail. 相对来说,LVS 这种四层的更加稳定,能承受更多的请求,而nginx 这种七层的

负载均衡集群介绍、LVS介绍、LVS调度算法、LVS NAT模式搭建

18.6 负载均衡集群介绍 主流开源软件LVS.keepalived.haproxy.Nginx等 其中LVS属于4层(网络OSI 7层模型),nginx属于7层,haproxy既可以认为是4层,可以当做7层使用 keepalived的负载均衡功能其实就是lvs lvs这种4层的负载均衡是可以分发除80外的其他端口通信的,比如MySQL的,而Nginx仅仅支持HTTP,HTTPS,mail,haproxy也支持MySQL这种 相比较来说,LVS这种4层的更稳定,能承受更多的请求,而Nginx这种

LVS DR模式搭建、keepalived+LVS搭建介绍

LVS DR模式搭建 1.准备工作 DR模式同样需要三台虚拟机,三台机器只需要有"公网"IP,但在这种模式下又多了一个VIP. 调度器dir:172.16.111.100真实服务器rs1:172.16.111.110真实服务器rs2:172.16.111.120VIP:172.16.111.200 2.DR模式搭建 在dir机器上写入脚本 [[email protected] ~]# vim /usr/local/sbin/lvs_dr.sh 增加如下脚本内容: #! /bin/bas