CLUSTER集群与存储技术

一、集群

一组相互独立的、通过高速网络互联的计算机构成一个组,并以单一系统的模式加以管理

将很多服务器集中起来一起进行同一种服务,在客户端看来就象是只有一个服务器

可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益

任务调度则是集群系统中的核心技术

二、集群分类

高性能计算集群HPC

–        通过以集群开发的并行应用程序,解决复杂的科学问题

负载均衡(LB)集群

–        客户端访问负载可以在计算机集群中尽可能平均地分摊处理

高可用(HA)集群

–        当集群中的一个系统发生故障时,集群软件迅速做出反应,将该系统的任务分配到集群中其它正在工作的系统上执行

三、LVS集群组成

前端:负载均衡层

–        由一台或多台负载调度器构成

中间:服务器群组层

–        由一组实际运行应用服务的服务器组成

底端:数据共享存储层

–        提供共享存储空间的存储区域

三、LVS术语

Director Server:调度服务器,将负载分发到Real Server的服务器

Real Server:真实服务器,真正提供应用服务的服务器

VIP:虚拟IP地址,公布给用户访问的IP地址

RIP:真实IP地址,集群节点上使用的IP地址

DIP:Director连到Real Server的IP地址

四、LVS负载均衡方式

VS/NAT:通过网络地址转换实现的虚拟服务器

–        Director将用户请求报文的目的地址改成选定的Real Server地址后,转发给Real Server

–        大并发访问时,调度器的性能成为瓶颈

VS/DR:直接使用路由技术实现虚拟服务器

–        通过改写请求报文的MAC地址,将请求发至Real Server,Real Server直接响应客户端

VS/TUN:通过隧道方式实现虚拟服务器

–        Director采用隧道技术将请求发至Real Server后,Real Server直接响应客户端

五、负载均衡调度算法

Director Server根据各台服务器的负载情况,通过高度算法动态选择一台Real Server

LVS目前实现了10种调度算法

常用调度算法有4种

–        轮询(Round Robin)

–        加权轮询(Weighted Round Robin)

–        最少连接(Least Connections)

–        加权最少连接( Weighted Least Connections )

轮询(Round Robin)

–        将客户端请求平均分发到Real Server

加权轮询(Weighted Round Robin)

–        根据Real Server的性能设置权重,再进行轮询调度

–        最少连接(Least Connections)

–        动态地将网络请求调度到已建立的连接数最少的服务器上

–        加权最少连接( Weighted Least Connections )

–        根据Real Server的性能设置权重,再将网络请求调度到已建立的连接数最少的服务器上

基于局部性的最少链接(Locality-Based Least Connections)

–        根据请求的目标IP地址找出该目标IP地址最近使用的服务器,若该服务器是可用的且没有超载,将请求发送到该服务器;若服务器不存在,或者该服务器超载且有服务器处于一半的工作负载,则用“最少链接”的原则选出一个可用的服务器,将请求发送到该服务器

带复制的基于局部性最少链接(Locality-Based Least Connections with Replication)

–        维护从一个目标IP地址到一台服务器的映射

–        根据请求的目标IP地址找出该目标IP地址对应的服务器组,按“最小连接”原则从服务器组中选出一台服务器,若服务器没有超载,将请求发送到该服务器;若服务器超载,则按“最小连接”原则从这个集群中选出一台服务器,将该服务器加入到服务器组中,将请求发送到该服务器

–        当该服务器组有一段时间没有被修改,将最忙的服务器从服务器组中删除,以降低复制的程度。

目标地址散列(Destination Hashing)

–        根据请求的目标IP地址,作为散列键(Hash Key)从静态分配的散列表找出对应的服务器,若该服务器是可用的且未超载,将请求发送到该服务器,否则返回空

源地址散列(Source Hashing)

–        根据请求的源IP地址,作为散列键(Hash Key)从静态分配的散列表找出对应的服务器,若该服务器是可用的且未超载,将请求发送到该服务器,否则返回空

最短的期望的延迟(Shortest Expected Delay Scheduling SED)

–        基于WLC算法

–        A、B、C三台机器分别权重1、2、3 ,连接数也分别是1、2、3。如果使用WLC算法的话一个新请求进入时它可能会分给ABC中的任意一个

–        使用sed算法后会进行这样一个运算:A(1+1)/1,B(1+2)/2,C(1+3)/3

–        根据运算结果,把连接交给C

最少队列调度(Never Queue Scheduling NQ)

–        如果有台Real Server的连接数为0就直接分配过去,无需SED运算

存储

一、常见存储技术

SCSI小型计算机系统接口

DAS直连式存储

NAS网络技术存储

SAN存储区域网络

FC光纤通道

1、SCSI

Small Computer System Interface的简称

作为输入/输出接口

主要用于硬盘、光盘、磁带机等设备

2、DAS

Direct-Attached Storage的简称

将存储设备通过SCSI接口或光纤通道直接连接到计算机上

不能实现数据与其他主机的共享

占用服务器操作系统资源,如CPU、IO等

数据量越大,性能越差

3、NAS

Network-Attached Storage的简称

通过网络交换机连接存储系统和服务器,建立专门用于数据存储的私有网络

用户通过TCP/IP协议访问数据,采用标准的NFS/HTTTP/CIFS等

4、SAN

Storage Area Network的简称

通过光纤交换机、光纤路由器、光纤集线器等设备将磁盘阵列、磁带等存储设备与相关服务器连接起来,形成高速专网网络

组成部分

连接设备。如路由器、光纤交换机

–        接口。如SCSI、FC

–        通信协议。如IP、SCSI

5、FC

Fibre Channel的简称

一种适合于千兆数据传输的、成熟而安全解决方案

与传统的SCSI相比,FC提供更高的数据传输速率、更远的传输距离、更多的设备连接支持以及更稳定的性能、更简易的安装

6、FC主要组件

光纤

HBA(主机总线适配置器)

–        用于连接主机到光纤通道网络

–        主机中显示为SCSI适配器

–        减轻IO数据对处理器的负载

–        支持多路径

FC交换机

–        提供高速、无阻塞的设备连接

–        为扩展性提供更多端口

7、FC交换机交换拓扑

点到点:point-to-point

–        简单将两个设备互连

已裁定的环路:arbitrated loop

–        可多达126个设备共享一段信道或环路

交换式拓扑:switched fabric

–        所有设备通过光纤交换机互连

8、iSCSI

Internet SCSI

IETF制定的标准,用于将SCSI数据块映射为以太网数据包

是一种基于IP Storage理论的新型存储技术

将存储行业广泛应用的SCSI接口技术与IP网络相结合

可以IP网络上构建SAN

最初由Cisco和IBM开发

9、iSCSI优势

基于IP协议技术的标准

允许网络在TCP/IP协议上传输SCSI命令

相对FC SAN,iSCSI实现的IP SAN投资更低

解决了传输效率、存储容量、兼容性、开放性、安全性等方面的问题

没有距离限制

10、iSCSI组成

客户端

–        iSCSI Initiator:软件实现,成本低、性能较低

–        iSCSI HBA:硬件实现,性能好,成本较高

存储设备端

–        iSCSI Target

以太网交换机

时间: 2024-10-09 23:38:59

CLUSTER集群与存储技术的相关文章

Redis Cluster集群搭建与应用

1.redis-cluster设计 Redis集群搭建的方式有多种,例如使用zookeeper,但从redis 3.0之后版本支持redis-cluster集群,redis-cluster采用无中心结构,每个节点保存数据和整个集群状态,每个节点都和其他所有节点连接.其redis-cluster架构图如下: 其结构特点 所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽. 节点的fail是通过集群中超过半数的节点检测失效时才生效. 客户端与redis节点直

Redis进阶实践之十一 Redis的Cluster集群搭建

原文:Redis进阶实践之十一 Redis的Cluster集群搭建 一.引言 本文档只对Redis的Cluster集群做简单的介绍,并没有对分布式系统的所涉及到的概念做深入的探讨.本文只是针对如何设置集群.测试和操作集群做了简述,并且从用户的角度描述了系统的行为,并不涉及Redis集群规范中所包含的细节.但是,本教程试图从最终用户的角度来解释有关Redis的Cluster集群的可用性和一致性的特点,并以简单易懂的方式讲解. 请注意,本教程需要使用Redis 3.0版本或更高版本. 如果您打算部署

Mysql Cluster集群配置详解

一. MySQL集群简介 MySQL群集技术在分布式系统中为MySQL数据提供了冗余特性,增强了安全性,使得单个MySQL服务器故障不会对系统产生巨大的负面效应,系统的稳定性得到保障.MySQL群集需要有一组计算机,每台计算机的角色可能是不一样的.MySQL群集中有三种节点:管理节点.数据节点和SQL节点.群集中的某计算机可能是某一种节点,也可能是两种或三种节点的集合.这三种节点只是在逻辑上的划分,所以它们不一定和物理计算机是一一对应的关系. 管理节点(也可以称管理服务器)主要负责管理数据节点和

Redis Cluster集群搭建测试

# Redis Clutser # ## 一.Redis Cluster集群 ## 参考资料: http://www.cnblogs.com/lykxqhh/p/5690923.html Redis集群搭建的方式有多种,例如使用zookper等,但从redis3.0之后版本支持redis cluster集群,Redis Cluster采用无中心结构,每个节点保存数据和整个集群状态,每个节点都和其他所有节点连接.其redis cluster架构图如下: 其结构特点: 1.所有的redis节点彼此互

为集群共享存储创建裸设备

红帽企业版Linux使用一个字符较大的数字(现在是162)去标明/dev/raw目录下一系列的裸设备.任何块设备都可以有一个裸设备做前端,即使这个块设备是在运行时加载的. 为了创建裸设备,需要编辑/etc/sysconfig/rawdevices文件,将裸字符设备绑定到适当的块设备,使得裸设备可以被打开.读和写. 编辑裸设备文件 /etc/sysconfig/rawdevices文件用于在集群成员(cluster member)每次启动时,为共享分区映射裸设备.作为安装集群软件的一个步骤,在每个

redis cluster集群理解

Redis Cluster集群 一.redis-cluster设计 Redis集群搭建的方式有多种,例如使用zookeeper等,但从redis 3.0之后版本支持redis-cluster集群,Redis-Cluster采用无中心结构,每个节点保存数据和整个集群状态,每个节点都和其他所有节点连接.其redis-cluster架构图如下: 其结构特点: 1.所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽.     2.节点的fail是通过集群中超过半

centos6下redis cluster集群部署过程

一般来说,redis主从和mysql主从目的差不多,但redis主从配置很简单,主要在从节点配置文件指定主节点ip和端口,比如:slaveof 192.168.10.10 6379,然后启动主从,主从就搭建好了.redis主从中如果主节点发生故障,不会自动切换,需要借助redis的Sentinel(哨兵模式)或者keepalive来实现主的故障转移. 今天介绍下redis cluster集群模式:redis集群是一个无中心的分布式redis存储架构,可以在多个节点之间进行数据共享,解决了redi

redis cluster 集群畅谈(三) 之 水平扩容、slave自动化迁移

上一篇http://www.cnblogs.com/qinyujie/p/9029522.html, 主要讲解 实验多master写入.读写分离.实验自动故障切换(高可用性),那么本篇我们就来聊了聊redis cluster 水平扩容以及自动化 slave 迁移. redis repliction 主从架构,一主多从更多的是为了提高 读QPS .而 redis cluster 集群中不建议或者没有说做物理的读写分离了,redis cluster 集群更强调的是通过master的水平扩容,来横向扩

redis集群与分片(2)-Redis Cluster集群的搭建与实践

Redis Cluster集群 一.redis-cluster设计 Redis集群搭建的方式有多种,例如使用zookeeper等,但从redis 3.0之后版本支持redis-cluster集群,Redis-Cluster采用无中心结构,每个节点保存数据和整个集群状态,每个节点都和其他所有节点连接.其redis-cluster架构图如下: 其结构特点: 1.所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽.     2.节点的fail是通过集群中超过半