集群技术

集群技术概述

LB LoadBalancer 负载均衡集群

  硬件:F5 BIG-IP

  软件:LVS(4层-传输层tcp/udp等端口协议进行负载调度),Nginx,Haproxy(4/7层-应用层,如识别http协议中的url等进行调度)

  LB集群主要解决高并发能力问题

HA HighAvailability 高可用集群

  在线时间(在线时间+故障恢复时间)

  Keepalived,RHCS,hearbeat,Pacemaker,rose(windows),PowerHA(AIX)

  HA集群主要解决提高服务在线时间

HPC High-Performance Computing 高性能计算

  MapReduce

  追踪任务完成状态

  Hadoop

  HPC集群主要解决大任务计算的问题

LVS三种工作模式

  VS/NAT:网络地址转换模式,进站出站的数据流量均经过调度器

      any:Linux/Windows 是否支持Non-arp device均可

      private:私有网络

      low:10~20real server

      gateway:所有real server网关必须指向调度器

  VS/TUN:隧道模式,只有进站的数据流量经过分发器

  VS/DR:直接路由模式,只有进站的数据流量经过分发器,调度器和真实服务器必须在同一网段

          VS/NAT       VS/TUN         VS/DR

server          any        Tunneling        Non-arp device

server network    private       LAN/WAN        LAN

server number    low(10~20)    Hign(100)        High(100)

server gateway      load balance    own router        own router

VS/NAT实例拓扑

  调度器通过修改网络层(三层)的目标IP地址达到调度分发的目的

  

  Client:        CIP:192.168.122.0/24

  Director(调度器):    eth0: VIP: 192.168.122.100

-----------------------------------------------------------------------------

             eth1: DIP: 10.10.10.1

  Real Server:  RIP: 10.10.10.10/20/30

  DNS Server:  www.suminem.com ===> 192.168.122.100

#VS/NAT实施

  1、准备工作

  IP、hostname、hosts、iptables/firewalld、SELinux、ssh trust、ntp

  2、real server配置

  配置好网站服务器,测试所有RS

  默认网关均指向Directory的DIP

  3、Director分发器配置

  配置VIP

  ip r //查看路由表

  ip addr add dev eth0 192.168.122.10/24  //临时IP

  vim /etc/sysctl.conf

    net.ipv4.ip_forward = 1

  sysctl -p     //确保打开路由转发

  定义LVS的分发出策略

  yum -y install ipvsadm    //RHEL确保LoadBalancer仓库可用

  //以下均可用keepalived管理

  ipvsadm -A -t 192.168.122.100:80 -s rr          // -A 增加一个virtual service虚拟服务   

  ipvsadm -a -t 192.168.122.100:80 -r 10.10.10.10 -m    //-a 增加一个real server ;-m masquerading(NAT)

  ipvsadm -a -t 192.168.122.100:80 -r 10.10.10.20 -m

  ipvsadm -a -t 192.168.122.100:80 -r 10.10.10.30 -m

  ipvsadm -Ln     //查看ipvs的路由表,调度信息

  service ipvsadm save

  ipvsadm -L -n --stats

  ipvsadm -L -n --rate  //看速率

  ipvsadm -Ln -c    //查看LVS的连接条目

  watch -n.5 ‘ipvsadm -Ln -c‘  //动态查看

  4、测试

  elinks -dump http://192.168.122.100

  ab -c 1000 -n 1000 http://192.168.122.100/       //apache自带压力测试工具

  5、小结

    VS/NAT模式的原理是:当Director收到Client请求时,Direct将数据包的目标IP有VIP转换为选中的RIP实现分发,要求RS将网关指向Director的DIP。

    特点:配置简单。进出站数据包都经过分发器,数据量大时可能会出现网络瓶颈,支持的RS数量少

    注意:Director必须开启kernel ip_forward

       所有RS默认网关需要指向DIP

       Director使用DIP和RIP通信

  6、常见问题排查

   偶发页面访问异常

   ipvsadm -Lnc    //查看LVS的连接条目

   state出现 SYN_RECV 时,检查对应的RS,如调度器上可正常访问,则看网关指向

  

#VS/DR原理

   为了让Client接受RS直接返回的结果,RS上需要有VIP;Client请求过来时,为了避免VIP地址冲突,需要让RS开启no-arp,即广播时询问谁是VIP时,只有调度器应答;

   实现方法为在环回接口lo上设置VIP(环回接口优先,也可以设置在未插网线的网卡),为了不造成IP地址冲突,掩码设置成32,不会产生路由,掩码32代表网络位为32,没有主机,因此不产生路由;

   通过修改链路层的mac地址实现调度分发的目的,分发时修改mac地址为RS的mac地址,回包时通过查看自己的路由表,直接修改目标mac地址为网关的MAC地址,不经过调度器。

#VS/DR实施

   DR模式要求Director的DIP和所有RS的RIP必须在同一个网段及广播域

   所有节点的网关均指向真实的网关。

   Director的VIP接收请求,RS的VIP设置在lo接口上,开启no-arp,不接收请求及广播询问

  1、准备工作

  IP、hostname、hosts、iptables/firewalld、SELinux、ssh trust、ntp

  2、RS配置

  yum -y install httpd

  ip addr add dev lo 192.168.122.100/32    //在lo接口上绑定VIP

  echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore  //non-arp

  echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

  3、Director调度器配置

  配置VIP

  ip addr add dev eth0 192.168.122.100/32  //配置VIP

  yum -y install ipvsadm

  定义LVS分发策略

  ipvsadmin -C

  ipvsadm -A -t 192.168.122.100:80 -s rr          // -A 增加一个virtual service虚拟服务   

  ipvsadm -a -t 192.168.122.100:80 -r 192.168.122.10 -g    //

  ipvsadm -a -t 192.168.122.100:80 -r 192.168.122.20 -g

  ipvsadm -a -t 192.168.122.100:80 -r 192.168.122.30 -g

  ipvsadm -Ln     //查看ipvs的路由表,调度信息

  service ipvsadm save

原文地址:https://www.cnblogs.com/suminem/p/10683918.html

时间: 2024-08-30 07:55:41

集群技术的相关文章

理想化的 Redis 集群 - 技术翻译 - 开源中国社区

理想化的 Redis 集群 - 技术翻译 - 开源中国社区 zookeeper web界面查看工具node-zk-browser安装 | 日拱一卒

【整理学习Hadoop】Hadoop学习基础之一:服务器集群技术

        服务器集群就是指将很多服务器集中起来一起进行同一种服务,在客户端看来就像是只有一个服务器.集群可以利用多个计算机进行并行计算从而获得很高的计算速度,也可以用多个计算机做备份,从而使得任何一个机器坏了整个系统还是能正常运行. 集群(cluster)技术是一种较新的技术,通过集群技术,可以在付出较低成本的情况下获得在性能.可靠性.灵活性方面的相对较高的收益,其任务调度则是集群系统中的核心技术.集群是一组相互独立的.通过高速网络互联的计算机,它们构成了一个组,并以单一系统的模式加以管理

消息中间件的集群技术

美白针 美白针价格 http://www.shzhenai.com/Activity/201103/MeiBaiZhen/ 消息中间件( Message Oriented Middleware ) 是一类特定的中间件, 它利用高效可靠的消息传递机制进行平台无关的数据交流, 并基 于数据通信来进行分布式系统的集成. 通过提供消息传递和消息排队模型, 它可在分布环境 下扩展进程间的通信,并支持多通信协议.语言.应用程序.硬件和软件平台.目前流行的 MOM 中间件产品有 IBM 的 MQSeries

Redis集群技术及Codis实践

"高效运维最佳实践"是InfoQ在2015年推出的精品专栏,由触控科技运维总监萧田国撰写,InfoQ总编辑崔康策划. 前言 如开篇文章所言,高效运维包括管理的专业化和技术的专业化.前两篇我们主要在说些管理相关的内容,本篇说一下技术专业化.希望读者朋友们能适应这个转换,谢谢. 互联网早在几年前就已进入Web 2.0时代,对后台支撑能力的要求,提高了几十倍甚至几百倍.在这个演化过程中,缓存系统扮演了举足轻重的角色. 运维进化到今天,已经不是重复造轮子的时代.所以,我们在架构优化和自动化运维

交换机级联,堆叠,集群技术介绍

简单的局域网(LAN)通常由一台集线器(或交换机)和若干台微机组成.随着计算机数量的增加.网络规模的扩大,在越来越多的局域网环境中,交换机取代了集线器,多台交换机互连取代了单台交换机. 在多交换机的局域网环境中,交换机的级联.堆叠和集群是3种重要的技术.级联技术可以实现多台交换机之间的互连:堆叠技术可以将多台交换机组成一个单元,从而提高更大的端口密度和更高的性能:集群技术可以将相互连接的多台交换机作为一个逻辑设备进行管理,从而大大降低了网络管理成本,简化管理操作.堆叠(Stack)和级联(Upl

集群技术的出现和IA架构服务器的快速发展为社会的需求提供了新的选择

集群技术的出现和IA架构服务器的快速发展为社会的需求提供了新的选择.它价格低廉,易于使用和维护,而且采用集群技术可以构造超级计算机,其超强的处理能力可以取代价格昂贵的中大型机,为行业的高端应用开辟了新的方向. 集群技术是一种相对较新的技术,通过集群技术,可以在付出较低成本的情况下获得在性能.可靠性.灵活性方面的相对较高的收益. 目前,在世界各地正在运行的超级计算机中,有许多都是采用集群技术来实现的. 集群是由一些互相连接在一起的计算机构成的一个并行或分布式系统.这些计算机一起工作并运行一系列共同

高可用集群技术理论基础知识

目录 1.引言 2.高可用架构框架 3.资源的约束与隔离 4.高可用模型 5.配置高可用架构的前提 1.引言 一言以蔽之,高可用集群技术是为了解决业务因服务器宕机而中断业务的一种技术,它能保障业务7*24*365不间断. 在linux开源的世界里,常见的开源解决方案有如下: keepalived(vrrp+script) heartbeat corosync+pacemaker 要想用好这些开源软件,不得不先来了解一下一个高可用集群中的一些基础知识. 2.高可用架构框架 高可用架构一般可分为以下

数据库集群技术漫谈

转自:http://www.51testing.com/html/69/n-867469-2.html 简介 当今世界是一个信息化的世界,我们的生活中无论是生活.工作.学习都离不开信息系统的支撑.而信息系统的背后用于保存和处理最终结果的地方就是数据库.因此数据库系统就变得尤为重要,这意味着如果数据库如果面临问题,则意味着整个应用系统也会面临挑战,从而带来严重的损失和后果. 如今“大数据”这个词已经变得非常流行,虽然这个概念如何落地不得而知.但可以确定的是,随着物联网.移动应用的兴起,数据量相比过

java集群技术(转)

序言 越来越多的关键应用运行在J2EE(Java 2, Enterprise Edition)中,这些诸如银行系统和账单处理系统需要高的可用性(High Availability, HA),同时像Google和Yahoo这种大系统需要大的伸缩性.高可用性和伸缩性在今天高速增长的互连接的世界的重要性已经证实了.eBay于 1999年6月停机22小时的事故,中断了约230万的拍卖,使eBay的股票下降了9.2个百分点. J2EE集群是用来提供高可用性和伸缩性服务,同时支持容错处理的一种流行的技术.但

高可用集群技术之heartbeat+NFS实现web服务高可用(文本方式配置接口--gui图形配置)

一.高可用集群基本概念   什么是高可用技术呢?在生产环境中我既要保证服务不间断的服务又要保证服务器稳定不down机,但是异常还是会发生,比如说:服务器硬件损坏...导致服务器down机,我该如何保证服务器down机后继续提供服务呢?这时我就应该请出高可用技术来帮忙了,当我们的服务器发生故障后不能继续时,高可用集群技术解决将业务及服务自动转移至其他主机服务器上继续服务,保证服务架构不间断运行. 高可用集群的架构层次: 后端主机层: 这一层主要是正在运行在物理主机上的服务. 2.Message l