三分钟读懂TT猫分布式、微服务和集群之路

三分钟读懂TT猫分布式、微服务和集群之路

针对新手入门的普及,有过大型网站技术架构牛人路过,别耽误浪费了时间,阅读之前,请确保有一定的网络基础,熟练使用Linux,浏览大概需要3-5分钟的时间,结尾有彩蛋。

目录

分布式

小马正在经营一个在线购物网站,名叫TT猫,有商品管理、订单管理、用户管理、支付管理、购物车等等模块,每个模块部署到独立的云服务主机。

现在,程序员小明同学浏览TT猫,想买一款牛逼的cherry机械键盘来提升自己的工作效率。小明打开TT猫首页、搜索商品、浏览详情以及评论、添加购物车、下单、支付等等一系列操作。小明同学一气呵成,流畅的完成了购物,当然也花费了不少银子。

但是系统又是如何对这一系列操作,如下图错综复杂的调用关系(自行忽略部分细节)。用户看不见,模不着,整个下单过程却行走在网络之间。

TT猫把所有功能模块分布部署在不同的地方,最终完成了用户一系列的请求,这大概就是一个分布式系统吧。

微服务

博主认为微服务是一种架构,也是在分布式范畴之内的。多微才叫微?在分布式系统中,微服务更加强调单一职责、轻量级通信(HTTP)、独立性并且进程隔离。

好了,没什么好说的了,实践出真知,建议大家多多了解 spring-cloud相关微服务组件。

TT猫,每年都会搞一些活动,比如女生最爱的光棍节(双11),夜深人静的时候会瞬间涌入大量用户,指不定就会把某个服务打趴下。

这时候,问题来了用户下单超时,或者直接500错误,如何去解决?

负载均衡集群

这种事情怎么可以在如此重要的活动中出现,其实马爸爸提前购买了多台服务器,工程师们已分别把各个业务功能模块复制部署了多份。

每个相同功能的模块,它们构成了一个组,并以单一系统的模式加以管理。当妹子进行下单操作时,实际上是跟一个集群组发生关系,但系统会确保只跟其中一个发生了关系,具体跟谁,集群组有自己的调度算法,不要担心跟妹子发生不了关系。

举个古代猥琐而不淫荡的例子吧,如果你生活在古代,年18,未婚,高富帅,急需解决个人生理问题。故,你来到了传说中的风月场,咳咳,这个古代可是合法的。这时候老鸨或者大茶壶过来招呼你了,如果没有特殊要求,你会被带进一个屋里,里面有个风尘女子......

画风一转,有没有闪瞎自己的程序员万年钛合金狗眼。你可以这么理解,老鸨就是负载均衡器,内置调度算法,风尘女子就是集组其中的一个。

好了,言归正传,省略号自行脑补,小伙伴们看到这里可能会问了,平时生产环境中我们都用什么做负载均衡器。

  • 财大气粗的用硬件F5
  • 不差钱的使用DNS负载均衡
  • 技术牛逼的用LVS
  • 苦逼的创业型小公司只能使用Nginx

当然,负载均衡器不止以上几种,有兴趣的同学自行谷歌了解。

《论知行》篇中说:知其然知其所以然,简单说下这几种负载均衡器到底是如何行走于网络中的吧,学过网络的朋友大概都清楚七层网络模型。

首先一张图,让大家重温一下大学基础课程。

有没有瞬间课堂书本的感觉,不过瘾?再来一张TCP/IP五层模型。

在每一层都工作着不同的设备,比如财大气粗,不差钱的国企使用的F5工作在4-7层,一般互联网企业使用的LVS工作在传输层,使用最广泛的Nginx工作在应用层。

最后来聊一下DNS负载均衡,虽然DNS最原始也是最简单的方法,但是DNS负载均衡的控制权在域名服务商手里,NDS存在多级解析,缓存A记录的问题,以及网站自身无法做更多的管理。这样导致了一般中小公司很少使用。

当然,自身实力够硬,DNS负载均衡也是个不错的选择。下图是检测TT猫域名的A记录得到的部分信息,仅供参考,自行领悟。

高可用集群

既然是集群,就不能够出现单点故障,如果大家关注云服务,可能会接触到以下词汇,“双机热备”,“两地三中心”等等词汇。

双击热备是高可用的一种体现形式,如上图所示,生产环境中我们存在两个负载均衡节点,主节点处于激活状态,另一个节点处于备用状态,当主节点意外宕机,可以通过keepalived检测并迅速切换到备用服务,保障业务正常运转。

至于两地三中心,下图可能会让大家理解的更加透彻,图片源于网络。

弹性云

小马哥为了准备双十一,购置了大量服务器,但是活动一过,平时的用户访问量并不能满足服务器的接客能力,导致大量服务器处于空窗期。

这还了得,不能闲着啊,精明的小马哥一拍脑袋,组建了TT云团队。通过多年的努力开发了按量付费云、弹性IP、共享带宽等等产品为中小企业开源节流。

故障转移

小明同学觉得这款键盘不错,美滋滋的点击购买按钮,突然跳到了登陆页面。

什么鬼,裤子我都脱了,你就给我看这个?普通用户可能不会觉得有什么问题,重新登陆一次就是了。但是小明作为一只严谨的程序猿,他想弄明白其中到底发生了什么。

经过仔细的查阅资料分析,小明得出了以下结论:

发生以上故障,小明以为自己下单的那台服务挂机了,请求被分发到另一台服务上,但为什么会跳到登陆页面呢?作为一名程序员,小明清楚的知道服务分为有状态和无状态的,尽管我们平时的HTTP请求是无状态的,但是一般会通过cookie或者session来确定用户状态。

到这里,各位看官应该明白到底是个什么鬼了吧。就拿我们比较熟悉的Tomcat来说,我们的用户信息一般存储在session中,而session存储在Tomcat内存中。浏览器通过cookie中的JSESSIONID来与服务器进行认证。

然服务器挂了,下单请求被分发到另一台服务,自然小明再也找不到他的session了。

小明同学把问题反馈给了TT猫,小马哥一看这还得了,集群都做了还差这点,于是赶紧叫工程师们拿出解决方案。

工程师最终提出了两种方案:

  • 服务器用户状态复制(成本大,需要软硬件支持,有延迟,存在失败的风险)
  • 统一存储用户状态(我不说话,我就笑笑)

最终,工程师们采用第二种方案,使用Redis存储用户状态数据。

时间: 2024-10-10 16:53:14

三分钟读懂TT猫分布式、微服务和集群之路的相关文章

一片非常有趣的文章 三分钟读懂TT猫分布式、微服务和集群之路

原文http://www.cnblogs.com/smallSevens/p/7501932.html#3782600 三分钟读懂TT猫分布式.微服务和集群之路 针对新手入门的普及,有过大型网站技术架构牛人路过,别耽误浪费了时间,阅读之前,请确保有一定的网络基础,熟练使用Linux,浏览大概需要3-5分钟的时间,结尾有彩蛋. 目录 分布式 微服务 负载均衡集群 高可用集群 弹性云 故障转移 总结 分布式 小马正在经营一个在线购物网站,名叫TT猫,有商品管理.订单管理.用户管理.支付管理.购物车等

分布式、微服务、集群概念梳理

分布式.微服务.集群概念梳理 分布式 从本质上讲分布式表明的是一种解决方案,即由传统的单体应用,扩展成多体结构. 它的实施基础就是将可以独立出来的功能模块放在不同的服务器上,然后通过REST,RPC,消息中间件等方式来实现不同服务器之间的通信,这些不同服务器上的不同模块实现通信后,最后组成多体应用. 说的分布式,就不得不提到SOA架构,SOA是软件开发重要的思想,即面向服务的体系结构,是一个组件模型,它将应用程序的不同功能单元(称为服务)通过这些服务之间定义良好的接口和契约联系起来.接口是采用中

一文读懂 Spring Boot、微服务架构和大数据治理三者之间的故事

微服务的诞生并非偶然,它是在互联网高速发展,技术日新月异的变化以及传统架构无法适应快速变化等多重因素的推动下诞生的产物. 微服务的诞生并非偶然,它是在互联网高速发展,技术日新月异的变化以及传统架构无法适应快速变化等多重因素的推动下诞生的产物.互联网时代的产品通常有两类特点:需求变化快和用户群体庞大,在这种情况下,如何从系统架构的角度出发,构建灵活.易扩展的系统,快速应对需求的变化:同时,随着用户的增加,如何保证系统的可伸缩性.高可用性,成为系统架构面临的挑战.如果你想了解大数据的学习路线,想学习

三分钟读懂Oracle数据库容灾架之DataGuard

Oracle数据库目前依然处于商用数据库的霸主地位. 运行在Oracle数据库上的核心业务及核心数据的安全性尤为重要. 目前市场上针对Oracle数据库常见的容灾产品大致可以分为两大类. Oracle 公司自己的容灾产品 非Oracle公司的容灾产品 Oracle公司目前的容灾产品有我们常见的DataGuard和属于中间件部门的Oracle GoldenGate(以下简称OGG)产品.非Oracle公司的有DSG迪思杰 及DDS九桥,这两种产品和OGG在实现原理上大致相同. Oracle Gol

三分钟读懂:云计算与虚拟化的关系

云计算,虚拟化,这是现代计算科技的两项技术,那么,云计算与虚拟化有什么关系呢?这是本文所要讨论的问题.云计算将计算当做是公共资源,而非具体的产品和技术.早在20世纪70年代,大型计算机就一直在同时运行多个操作系统实例,每个实例也彼此独立.不过直到当今,软硬件方面的进步才使得虚拟化技术有可能出现在基于行业标准的大众化x86服务器上.云计算的基础设施功能在数字经济时代愈发显现.传统行业逐步迁云带来的存量市场,以及互联网行业的深入发展快速裂变带来的增量市场.中亚硅谷智能云计算在如此大环境下,对云计算服

三分钟读懂摘要算法

摘要算法又称哈希算法,它表示输入任意长度的数据,输出固定长度的数据,相同的输入数据始终得到相同的输出,不同的输入数据尽量得到不同的输出. Java中的Object.hashCode()方法就是一个摘要算法,它可以输入任意数据,它的输出是一个int类型,即4个字节的固定长度数据,同时,相同的输入会得到相同的输出,这也是重写equals方法必须重写hashCode方法的原因. 由于输出的长度是固定且输出的长度是不固定的,意味着两个不同的输入可能得到相同的输出,这就是碰撞问题.这就要求在设计Hash算

5分钟读懂正则表达式

本文仅作针对不熟悉正则表达式的朋友,可以通过本文快速的"读"懂代码中令人不快的正则表达式,至于进一步熟练的写出正则表达式,请参考文章底部链接或阅读专业书籍. 如果你总感觉看书看不懂,建议阅读<如何阅读一本书> --题外话. 1. 正则表达式一般使用 / 和 / 包裹起来的.2. 字面量字符(直接量字符) /a/    匹配字符a /a1/  匹配a1中任一个 /\./   匹配除 \n 之外的任一字符 方括号 /[0-9]/        匹配从字符0到字符9的任意一个字符

【转】一分钟读懂互联网广告竞价策略GFP+GSP+VCG

参考这篇文章: http://ju.outofmemory.cn/entry/116780 一分钟读懂互联网广告竞价策略GFP+GSP+VCG 两个广告位,三家广告主竞价,广告平台究竟应该制定广告竞价策略呢?这是本文即将分享的一个问题. 一.前序知识-传统竞价策略英式拍卖(English Auction)英式拍卖又叫公开增价拍卖OAB(Open Ascending Bid),卖家提供物品,在物品拍卖过程中,买家按照竞价阶梯由低至高喊价,出价最高者成为竞买的赢家.为了保证竞价收敛,一般会为竞价设定

三分钟看懂上证50ETF期权,基础学习

三分钟看懂上证50ETF期权,基础学习 最近50RETF期权投资,广受投资者朋友的欢迎,但也有一些朋友对此不是非常了解,今天 optioncc期权小编 我们就来给大家介绍一下50ETF期权! 首先我们先来了解一下什么是50ETF期权? 50ETF期权是经过上海证券交易所的三个衍生产品,从上证50指数到50ETF指数基金再到50ETF期权,我们先来了解一下上证50指数. 他是由上海证券交易所编制的,是从众多股票中选择了最具代表性的50只股票,像中国平安.民生银行.伊利股份.贵州茅台等,而他们的行情