分布式系统类型

分布式系统目前常见的有两类:集群计算系统、网格计算系统。集群计算系统是同构系统,而网格计算系统是异构系统。

1.集群计算系统

分为主节点和计算节点,计算节点实际上运行的是单一的操作系统,其上运行的是独立的或者分布式的进行,结构较为简单,本身依赖主节点提供的并行库使用进程进行数据调度;

主节点除了提供应用程序所依赖的库外,还提供对结算节点的管理程序进行管理的分布式扩展,所以集群计算系统对节点间同构的要求较高,同构具体涉及的范围如:硬件平台、操作系统、管理域、安全策略、网络;

计算节点间通过高速网络连接,主节点与计算节点间通过标准网络连接;

2.网格计算系统

之所以说网格计算系统之间是异构的,是因为,在单个计算内部,各个之间的工作是分层次的,形似osi的七层模型,各层之间提供api相互进行邻层的调用,但是各层内部的构成是地外透明的;

从下至上依次为:光纤层、连接层和资源层、汇集层、应用层

光纤层:提供对局部资源的接口

连接层:通信协议组成,支持网格事物的处理,延伸多个资源的使用

资源层:否则管理单个资源

汇集层:负责对多个资源的访问,包括四种常见操作事物:数据复制、任务分配、资源分配、调度到各个资源

应用层:有应用程序组成,在虚拟环境中运行

时间: 2024-10-05 03:59:01

分布式系统类型的相关文章

使用Mesos和Marathon管理Docker集群

分布式系统是难于理解.设计.构建 和管理的,他们将比单个机器成倍还要多的变量引入到设计中,使应用程序的根源问题更难发现.SLA(服务水平协议)是衡量停机和/或性能下降的标准,大多数现代应用程序有一个期望的弹性SLA水平,通常按"9"的数量增加(如,每月99.9或99.99%可用性).每个额外的9变得越来越难实现. 分布式系统通常是以静态分区,比如Akka/Play. Spark/Hadoop.Storm和 Redis各自分区分组划分.静态分区带来的缺点是增加复杂性,随着机器数量增加,软

部署Mesos+zookeeper+Marathon+Docker实战

Mesos是什么? Mesos是Apache下的开源分布式资源管理框架,它被称为是分布式系统的内核.Mesos能够在同样的集群机器上运行多种分布式系统类型,更加动态有效率低共享资源.提供失败侦测,任务发布,任务跟踪,任务监控,低层次资源管理和细粒度的资源共享,可以扩展伸缩到数千个节点.Mesos已经被Twitter用来管理它们的数据中心.?Mesos中的基本术语解释: 1)Mesos-master:主要负责管理各个framework和slave,并将slave上的资源分配给各个framework

分布式系统的事务处理【转】

转:http://coolshell.cn/articles/10910.html 当我们在生产线上用一台服务器来提供数据服务的时候,我会遇到如下的两个问题: 1)一台服务器的性能不足以提供足够的能力服务于所有的网络请求. 2)我们总是害怕我们的这台服务器停机,造成服务不可用或是数据丢失. 于是我们不得不对我们的服务器进行扩展,加入更多的机器来分担性能上的问题,以及来解决单点故障问题. 通常,我们会通过两种手段来扩展我们的数据服务: 1)数据分区:就是把数据分块放在不同的服务器上(如:uid %

通过 Mesos、Docker 和 Go,使用 300 行代码创建一个分布式系统

[摘要]虽然 Docker 和 Mesos 已成为不折不扣的 Buzzwords ,但是对于大部分人来说它们仍然是陌生的,下面我们就一起领略 Mesos .Docker 和 Go 配合带来的强大破坏力,如何通过 300 行代码打造一个比特币开采系统. 时下,对于大部分 IT 玩家来说, Docker 和 Mesos 都是熟悉和陌生的:熟悉在于这两个词无疑已成为大家讨论的焦点,而陌生在于这两个技术并未在生产环境得到广泛使用,因此很多人仍然不知道它们究竟有什么优势,或者能干什么.近日, John W

通过“分布式系统的8大谬误”反思APP的设计 第六篇 谬误6:只有一个管理者

我们再回顾一下著名的分布式系统的8大谬论,以及如何在开发应用是避免这些问题. 1,网络是可靠的: 2,网络不存在时延: 3,网络带宽是无限的: 4,网络是安全的: 5,网络拓扑结构是不会变化的: 6,只有一个管理员: 7,网络传输是不需要任何代价: 8,网络是同构的. 谬误6:只有一个管理者. 作为一个开发者,你可以控制在什么时候发布新的APP或新的服务器版本,但任何人都控制不了到底有多少类型的设备在运行你的APP.用户们可以在按自己意愿更新应用,也许更本不会再更新.导致你不得不同时处理各种版本

分布式系统的事务处理

转自:http://coolshell.cn/articles/10910.html 当我们在生产线上用一台服务器来提供数据服务的时候,我会遇到如下的两个问题: 1)一台服务器的性能不足以提供足够的能力服务于所有的网络请求. 2)我们总是害怕我们的这台服务器停机,造成服务不可用或是数据丢失. 于是我们不得不对我们的服务器进行扩展,加入更多的机器来分担性能上的问题,以及来解决单点故障问题. 通常,我们会通过两种手段来扩展我们的数据服务: 1)数据分区:就是把数据分块放在不同的服务器上(如:uid

使用 Redis 实现分布式系统轻量级协调技术

在分布式系统中,各个进程(本文使用进程来描述分布式系统中的运行主体,它们可以在同一个物理节点上也可以在不同的物理节点上)相互之间通常是需要协调进行运作的,有时是不同进程所处理的数据有依赖关系,必须按照一定的次序进行处理,有时是在一些特定的时间需要某个进程处理某些事务等等,人们通常会使用分布式锁.选举算法等技术来协调各个进程之间的行为.因为分布式系统本身的复杂特性,以及对于容错性的要求,这些技术通常是重量级的,比如 Paxos 算法,欺负选举算法,ZooKeeper 等,侧重于消息的通信而不是共享

【分布式】Zookeeper在大型分布式系统中的应用

一.前言 上一篇博文讲解了Zookeeper的典型应用场景,在大数据时代,各种分布式系统层出不穷,其中,有很多系统都直接或间接使用了Zookeeper,用来解决诸如配置管理.分布式通知/协调.集群管理和Master选举等一系列分布式问题. 二. Hadoop Hadoop的核心是HDFS(Hadoop Distributed File System)和MapReduce,分别提供了对海量数据的存储和计算能力,后来,Hadoop又引入了全新MapReduce框架YARN(Yet Another R

分布式系统简介

研究生阶段学习的分布式原理与泛型几乎忘完了,当初不怎么懂...现在工作中发现大数据技术的底层还是分布式系统,那么重新拾起,总结下~ 一.分布式系统简介 分布式系统是若干独立计算机的集合,这些计算机对于用户来说就像是单个相关系统.这个定义包含了两方面的内容,第一方面是硬件的:机器本身是独立的.第二方面是软件的:对用户来说他们就像在于单个系统打交道. 其中重要特性之一是,各个计算机之间的差别以及计算机之间的通信方式的差别对用户是隐藏的.另一个重要的特性是,用户和应用程序无论在何时何地都能够以一种一致