云计算教程学习入门视频课件:服务器集群cluster讲解

负载均衡技术用于解决如何把许多互不相关的小型任务或中型任务合理地分配到不同的服务器上的问题。互不相关的小型任务或中型任务是指任务之间没有关联性,而且只用一台服务器就可以完成的任务。绝大多数个人租户的任务都属于这类任务。

对于大型任务,由于一台服务器无法按时完成,所以就要把大型任务拆分成许多中小型任务,然后再分配给多台服务器,由它们协同完成,这就是计算机集群技术所要解决的问题。

对租户来说,由很多台服务器组成的集群系统就像一台超级计算机,不管运行多么复杂、大型的任务,马上就能得到结果。而具备同样计算能力的超级计算机价格却异常昂贵,所以当 PC 服务器价格大幅度下降之后,人们热衷于采用廉价的集群系统来完成各种高性能的计算任务。比较明显的例子就是,很多大型公司用几万台服务器组建搜索集群系统,而且服务器都是他们自己组装的。

与其在家闲着,不如立即开始学习,当机遇爆发式来临时,能不能把握住,只看我们是否已经准备好了,是否足够强大。所以,现在开始,千锋900G+视频教程免费送!领取方式在下方留言即可,希望可以帮助你在“逆境”中成长,从容开启新的一年。

接下来讲解集群涉及两大技术:一是任务的拆分,二是任务的调度。

  1. 任务的拆分

任务的拆分遵循的原则之一是尽量降低子任务之间的关联性,从而提高处理任务的并行度。最常见的关联性是任务处理的时间先后关系,比如子任务 A 一定要在子任务 B 完成之后才能开始处理,即 B 任务的输出作为 A 任务的输入。存在一类子任务无关联的大型任务,拆分这样的任务就很容易。

比如在全球上亿的网页中搜索关键词“云计算”,这个任务的拆分方法之一是按国家划分:A 子任务搜索中国的网站,B 子任务搜索美国的网站,C 子任务搜索英国的网站等,这些子任务之间没有关联性,可以并行处理,最终把全部子任务的搜索结果合并起来即可。再比如中国的天气预报,可以按省份拆分。

  1. 任务的调度

任务的调度即如何把拆分出来的子任务合理地调度给云端服务器并让它们协同完成,这里的“合理”性与租户的要求密切相关。可以这样定义:最能满足租户要求的调度方法就是合理的。

租户的要求各种各样,有的希望任务完成得越快越好,有的要求在将来某个时间前完成任务即可,有的希望结果越精确越好,有的希望计算费用越少越好……根据租户的不同要求,人们提出了相应的任务调度方法。比如在满足租户预期目标的前提下,把任务分配给尽量少的计算机,从而满足“应用最少的计算机按时、按质完成任务”的要求,因为参与的计算机越少,通信的成本就越低。

例如,有一个 100 人日的任务,甲方要求在 10 天内完成。为了在规定的时间内完成任务,乙方更愿意安排 10 个人做 10 天,而不是安排 105 个人做1天。由于要管理 100 人,所以后者需要增加 5 个管理人员。

集群是一个复杂的工程,它涉及很多分布式方面的基础算法,如选举算法、一致算法、波算法、快照、故障检测等。

原文地址:https://blog.51cto.com/14679712/2472332

时间: 2024-08-25 01:35:39

云计算教程学习入门视频课件:服务器集群cluster讲解的相关文章

云计算教程学习入门视频课件:互操作性与可移植性讲解

不同于传统的位于单位组织内部的 IT 基础设施,云计算的诞生给单位组织的 IT 资源供给带来了前所未有的灵活性--可以瞬时增加.转移或者减少计算资源来快速响应动态的资源需求变化,能在几个小时而不是几周内部署一个新的应用来满足业务需求. 为了达到这种更具弹性的计算能力,在设计任何云系统时必须要考虑互操作性与可移植性.互操作性规定,IT 系统中应用软件层以下各层采用开放的通用型组件,杜绝使用云服务提供商各自内部的封闭组件.可移植性规定,IT 系统中应用软件层和数据信息层应采用开放的通用数据格式和软件

云计算教程学习入门视频课件:云计算安全性有哪些?

信息安全的首要目标是保护我们的系统和应用所处理的数据资料.随着单位组织陆续把应用迁移到云端,甚至是迁移到几年前不可想象的外部或公共云端,传统的数据安全措施面临巨大挑战,随"云"而来的资源弹性.多租户.全新的物理和逻辑架构及抽象层控制,迫切寻求新的数据安全策略. 在云计算时代,如何安全地管理信息是所有组织不得不面临的一项艰巨任务,即使那些暂时还不用云计算的机构也不例外.管理信息具体包括内部数据管理.云迁移,以及被分散于多个单位组织的应用和服务中的数据的安全保障.信息管理和数据安全在云计算

云计算教程学习入门视频课件:kubeadm使用ssl证书说明

一套好的云计算教程必须涵盖Linux.网络工程师.Python运维.云计算.OpenStack.Docker容器技术等企业核心技术点,同时增加信息安全.安全防御和***技术,打造的是既懂运维,又懂安全***的技术人才. 在云计算蓬勃发展的今天,与其在家闲着,不如立即开始学习,当机遇爆发式来临时,能不能把握住,只看我们是否已经准备好了,是否足够强大.所以,现在开始,千锋900G+视频教程免费送!领取方式在下方留言即可,希望可以帮助你在"逆境"中成长,从容开启新的一年. 下面给大家讲解下云

云计算教程学习入门视频课件:怎么组建云计算中心?

云计算中心是与云计算伴生的一项基于超级计算机系统对外提供计算资源.存储资源等服务的机构或单位,以高性能计算机为基础面向各界提供高性能计算服务.当前,云计算中心主要面向大规模科学计算及工程计算应用,并在商业计算.互联网.电子政务.电子商务等领域拥有巨大发展潜力. 我们已经知道,一个完整的云系统包含 5 个角色,其中云服务提供商和云服务消费者是最主要的角色,这两个角色缺少任意一个都不能成为"云".由这两者组成的"云",算是最基本的"云",如本地私有云

云计算教程学习入门视频课件:云计算的可用性怎么样?

IT 的概念即信息技术,其中"I"代表信息(或数据),"T"代表技术(或计算),技术是用来处理信息的,所以说 I 是目的,T 是手段,T 是为 I 服务的.与 T 关联的安全主要是"计算可用性",如果由于 T 的原因,人们无法处理 I,那么这种情况就称为计算不可用. 计算不可用会导致人们无法处理全部或者部分数据,而断电.断网.软/硬件故障.缺少应用软件.忘记账号或密码等都会导致全部或部分计算不可用.相对于传统 IT 系统而言,云计算的确增加了一个

云计算教程学习入门视频课件:云计算中容错计算是什么?

计算机系统的RAM技术主要就是容错计算技术.所谓容错计算,就是在系统存在故障的情况下,仍能正确地执行给定的算法.为了实现这一点,必须使系统具有故障检测与诊断.功能切换与系统重组(reconfiguration).系统恢复与重新运行.系统的重构(reintegration)与可扩展等功能,而且这些功能不能影响系统的正常运行或至少不能使系统的性能下降到不能容忍的程度. 对非容错系统,当故障导致系统发生算法执行错误并被发现后,系统要停止运行,由专门的维修人员进行检测.诊断,找到故障发生的原因.维修人员

云计算教程学习入门视频课件:云服务的组成内容

云服务是什么?大量的水滴和冰晶漂浮在空中,能聚合成云.而云计算的「云」,却是由海量的数据存储.计算资源和应用程序所组成的.目前云服务是一个热门的概念,提供云端服务,就是将用户的一些日常资料储存到服务器上,做到有网的情况下,随用随取.不过涉及到一些客户隐私,安全方面显的特别重要. 下面千锋给大家讲解下云服务的组成内容由以下部分组成: 云服务审计员 云计算审计员能对云计算利益相关者开展独立检查并发布评估结果,审计的核心任务就是通过对客观证据的审查来评估是否符合预设的标准.针对云服务提供商的审计主要包

云计算教程学习入门视频课件:云计算架构参考模型

云计算的核心是虚拟化技术,网络虚拟化技术又是其最重要的组成部分,用于在物理网络上虚拟多个相互隔离的虚拟网络,实现网络资源切片,提高网络资源利用率,实现弹性化网络. 云计算架构参考模型定义了5种角色,分别是云服务消费者.云服务提供商.云服务代理商.云计算审计员和云服务承运商.每个角色可以是个人,也可以是单位组织.下面千锋给大家讲解下云计算架构参考模型: 云服务消费者租赁云服务产品的个人或单位组织云服务提供商提供云服务产品的个人或单位组织,如中国电信天翼云.阿里云.腾讯云等云服务代理商代理云服务提供

云计算教程学习入门视频课件:云服务有多安全?

云服务管理是指云服务提供商必须履行的一套流程和任务,以便圆满地把云服务交付给消费者.云计算能节约成本,快速满足用户对资源的弹性需求,这使得一些潜在的云服务消费者有兴趣把计算迁入云端.然而,这些潜在的云服务消费者能否变成真实的云服务消费者,在很大程度上依赖于云服务提供者如何对待用户关心的安全.可移植性和互操作性问题. 关于可移植性,潜在的消费者非常想知道他们是否能够以较低的成本和最小的中断时间在多个云端之间迁移数据或应用程序.而对于互操作性,用户关心在两个或多个云端之间的互通能力. 为了便于用户进