集群与分布式概念

1,分布式:一个业务拆分成多个子业务,每个子业务部署在不同的服务器上。

集群:同一个业务部署在多个服务器上。

2,分布式是以缩短单个任务的执行时间来提升效率的。集群是通过提高单位时间内任务执行数来提升效率的。

例如:

如果一个任务由10个子任务组成,每个子任务单独执行需1小时,则在一台服务器上执行该任务需10小时。

采用分布式方案,提供10台服务器,每台服务器只负责处理一个子任务,不考虑子任务间的依赖关系,执行完这个任务只需一个小时。(这种工作模式的一个典型代表就是Hadoop的Map/Reduce分布式计算模型)

而采用集群方案,同样提供10台服务器,每台服务器都能独立处理这个任务。假设有10个任务同时到达,10个服务器将同时工作,10小时后,10个任务同时完成,这样,整身来看,还是1小时内完成一个任务!

时间: 2024-12-27 23:42:55

集群与分布式概念的相关文章

集群与分布式 如何理解(自己的理解)

集群 与 分布式 如何理解 一. 概念理解 集群的理解:就是一台计算机处理不了太多的事情 ,需要大家组合在一起来完成一件事情. 分布式的理解:就是把一件事情分成好几个部分 ,每个人做其中的一部分. 二.图解 分布式 负责均衡集群 三.集群的种类: 负载均衡集群(Load Balance):Nginx反向代理  .DNS 轮训巡.LVS(Nat 模式 .隧道模式.直连路由) 高可用集群(High Availabe):Keepalive .Heartbeat 并行计算集群(HPC):不了解 申明:这

Hadoop学习笔记_4_实施Hadoop集群 --伪分布式安装

实施Hadoop集群 --伪分布式安装 准备与配置安装环境 安装虚拟机和linux,虚拟机推荐使用vmware,PC可以使用workstation,服务器可以使用ESXi,在管理上比较方便.ESXi还可以通过拷贝镜像文件复制虚拟机,复制后自动修改网卡号和ip,非常快捷.如果只是实验用途,硬盘大约预留20-30G空间. 以Centos为例,分区可以选择默认[如果想要手动分区,请参考博客:http://blog.csdn.net/zjf280441589/article/details/175485

MySQL学习笔记05MySQL集群的分布式权限

在使用了多个SQL节点之后,默认情况下,在一个节点中增加的用户,在其它节点上并不是可见的.MySQL 集群提供了让用户和权限在整个集群中有效的途径. (1)执行MySQL集群提供的SQL脚本. MySQL集群在安装目录提供了ndb_dist_priv.sql这个脚本,用于为集群提供分布式权限. 在某一个SQL节点61的MySQL服务中执行这个脚本,这个脚本将用户与权限相关的数据表比如user表等的存储引擎从MyISAM修改为NDBCluster. mysql -uroot -p < /usr/s

Java 多线程 服务集群和分布式缓存系统架构

服务集群和分布式缓存系统架构见下图: 参考资料 Java企业级电商项目架构演进之路 Tomcat集群与Redis分布式 原文地址:https://www.cnblogs.com/WJQ2017/p/8442510.html

Spring+Quartz框架实现定时任务(集群,分布式)

1.定时任务的必要性: 定时任务在应用中的重要性不言而喻,大多是应用,特别是金融应用更是离不开定时任务,能用定时任务来处理异常订单,完成跑批,定时活动(双11)等.在初期应用的访问量并不是那么大,一台服务器完全满足使用,但是随着用户量.业务量的逐日增加,应用中会有很多定时任务需要执行,一台服务器已经不能满足使用,因此需要把应用给部署到集群中,前端通过nginx代理实现访问. 2.集群使用定时任务的问题:目前大部分在集群中处理定时任务的方式不是正真的分布式处理方式,而是一种伪分布式,这种方式存在一

3-3 Hadoop集群完全分布式配置部署

Hadoop集群完全分布式配置部署 下面的部署步骤,除非说明是在哪个服务器上操作,否则默认为在所有服务器上都要操作.为了方便,使用root用户. 1.准备工作 1.1 centOS6服务器3台 手动指定3服务器台以下信息: hostname IP mask gateway DNS 备注 master 172.17.138.82 255.255.255.0 172.17.138.1 202.203.85.88 服务器1 slave1 172.17.138.83 255.255.255.0 172.

Redis集群与分布式介绍以及搭建Redis-Cluster

1 Redis集群 1.1 什么是集群 集群就是很多服务器组成的一个网络.指的是将多台服务器集中在一起,实现同一业务. 1.2 为什么要集群 一台服务器不能满足开发需要的时候,需要多台服务器来支持.这个时候就需要做集群,但是集群往往伴随 着分布式. 1.3 集群的特性及能力 1.集群的两大关键特性: 可扩展性----集群的性能不限于单一的服务实体,新的服务实体可以动态地加入到集群,从而增强集群的性能.动态添加服务器高可用性----集群通过服务实体冗余使客户端免于轻易遇到out of servic

集群、分布式、微服务概念和区别

概念: 集群是个物理形态,分布式是个工作方式. 分布式:一个业务拆分成多个子业务,每个子业务分别部署在不同的服务器上 集群:同一个业务,部署在多个服务器上 1.分布式是指将不同的子业务分布在不同的地方.而集群指的是将几台服务器集中在一起,实现同一业务. 分布式中的每一个节点,都可以做集群.而集群并不一定就是分布式的. 举例:就比如新浪网,访问的人多了,他可以做一个群集,前面放一个响应服务器,后面几台服务器完成同一业务,如果有业务访问的时候,响应服务器看哪台服务器的负载不是很重,就将给哪一台去完成

大数据系列(3)——Hadoop集群完全分布式坏境搭建

前言 上一篇我们讲解了Hadoop单节点的安装,并且已经通过VMware安装了一台CentOS 6.8的Linux系统,咱们本篇的目标就是要配置一个真正的完全分布式的Hadoop集群,闲言少叙,进入本篇的正题. 技术准备 VMware虚拟机.CentOS 6.8 64 bit 安装流程 我们先来回顾上一篇我们完成的单节点的Hadoop环境配置,已经配置了一个CentOS 6.8 并且完成了java运行环境的搭建,Hosts文件的配置.计算机名等诸多细节. 其实完成这一步之后我们就已经完成了Had