从内部自用到对外服务,配置管理的演进和设计优化实践


本文整理自阿里巴巴中间件技术专家彦林在中国开源年会上的分享,通过此文,您将了解到:

微服务给配置管理所带来的变化
配置管理演进过程中的设计思考
配置管理开源后的新探索
配置中心控制台设计实践
“为什么相对于传统的软件开发模式,微服务要强调配置中心,是出于什么样的诉求需要我们专门设计一个配置中心?厘清了这些问题,我们就知道如何去设计配置中心,并获得一个比较好的用户体验,和一个生产可用的结果。”

微服务给配置管理所带来的变化
在单机的情况下,我们把配置放在代码里边,发布的时候直接重启,非常轻量,但在微服务的情况下,出现了两个新的场景:

第一个是出现了多台设备,之前改一台设备就 OK 了,但是现在需要改多个设备,业务量大的时候,可能要改几十甚至几百台设备。显然,通过手动来完成这些设备的配置是不切实际的。所以说微服务之后,产生了一个新的难题,设备的配置变更管理难了。

第二个是微服务之后,出现了路由规则。并且,服务A×××B的过程中,路由规则、重试策略和熔断机制,都是动态变化的。例如,我们发现下游依赖的一个服务不可用了,需要把它降级,这样对整个业务的资损影响才是最小的。通过更改一个配置,就可以实时地推到业务的进程里边,让它立马生效,进行降级。这就是我们微服务架构下要做配置中心的另一大原因。

配置管理演进过程中的设计思考
面对微服务架构下对配置中心的新诉求,我们该如何去满足呢?

我们的解法就是针对分散的管理模式,设计一个集中的管控平台,即配置中心。当有配置变更的时候,就可以在配置中心上来实现。配置管理的策略就是集中管控和动态推送,以解决分散的问题。其中,动态推送是微服务里边配置管理的核心,改一个配置时,确保每台机器可以收到配置更新,并实时生效。

除此之外,我们还做了一个发布管控。就是在变更之前,找线上的一台机器,先把变更发布下去,如果没有问题再去全网推。同时,对于已发布的配置变更可以一键逆操作,就是相当于给了一次吃后悔药的机会,因为很可能,我们推错的时候,忘了更改前的参数,那么可以通过一键逆操作来缩短恢复时间,在机制上降低了配置管理的风险。

随后,在我们做配置中心的云化产品的过程中,也就是从服务集团内部客户走向服务外部企业用户的时候,我们遇到了新的挑战。

服务集团内部用户的时候,我们会搭几套物理集群。但是产品云化后,为每一个云计算的用户去搭一个环境,成本就太高了。于是我们设计了一套集群去支撑云上的用户,及其多个使用环境,例如日常测试环境、预发环境和生产环境。

其次,为了进一步降低用户的使用成本,我们提供了一个逻辑隔离的能力。这和 K8S 的体系是一样的,就是在整个配置体系下面,新增一个命名空间或是租户。在启动的过程中动态传一些参数进去,然后把所有的配置隔离在不同的命名空间之下,这样大家就相互不影响了。我们看到的都是一个key ,但实际上是在前面动态的添加了一个逻辑参数,即命名空间。

此外,在某一个环境里边,如果某个用户或者一个环境里边的一个租户变更配置很频繁,或者是把权限搞错了,这个影响会是全局的。之前,我们的一个专有云用户遇到了一个问题,就是写了大量的配置变更数据,几百万条,最后把数据库写爆了。因此,为了避免因为某个租户更改配置影响到全局的事情发生,我们设计了流量管控和容量管控。即一个用户默认最多创建100条或者200条数据,上限由管理员来设置。进一步的,我们把这个管控封装成一个接口作为云产品的一个特性。

以上就是整个配置中心设计的演进过程,伴随着我们对配置中心的理解和用户的需求而来,从配置管理到集中管控,到配置发布前的自动校验,到发布管控,再到流量和容量管控。

配置管理演进过程中的设计思考
当我们对配置中心进行开源(开源项目名称:Nacos)的时候,有了新的思考。

项目开源初期,在宣讲的时候我们会强调Nacos的性能,例如经受了双11的流量考验,支持每天上亿次的配置推送,但在开源过程中和一些开发者沟通下来,大家其实并不会太考虑开源产品的性能,因为大部分开发者所处的企业,其流量规模根本没有那么大,大家更关心的是产品的易用性,开发者用爽了,才会谈性能的问题、安全的问题和容量的问题。

所以,我们在之后的产品设计策略上做了些调整。就是只要用户能看的到地方,就会用心去设计,等满足了简单易用,满足了中小企业对配置中心的需求后,再去强调Nacos的性能。

简单易用分为两个维度,一个是各类基础设计,包括模型和接口等,另一个是控制台的使用体验设计。

先看下我们在接口设计方面的模型。

这张图展示的是一个最简单的配置模型,一个配置文件里边填 value 。按大家最正常的理解来说,一个DataId ,一个 Content (一个key和一个 value 就可以了),为什么还出现了Namespace、 Group这些设置呢。原因是,做了微服务之后,大家的配置集中管控了。集中管控遇到的第一个问题就是,当多个应用去做拆分的时候,会有一个隔离的需求。

比如一个应用 A 的开发,和一个应用 B的开发,希望他们两个的配置是相互隔离的,通过各自的应用,能很快的实现相应的配置变更。所以我们在一个 key-value 的基础上又加了一个 Group ,这个Group 就是一个逻辑分组的概念,一般我们推荐填写它的应用名称或者模块名称,便于大家把不同应用的配置分开,也方便后边进行权限管控。

那Namespace是干嘛的呢?如果是一家规模较小的企业,可能连测试环境也没有,这时候Namespace是没有任何意义的,我默认是你隐藏的,它是一个空串。如果说你是一家中型的或者更大一点的公司,有很多环境,测试、预发和生产等多个环境,线上还有一些梯度环境,这时候我们就可以通过一个 Namespace ,让你连到不同的环境上了,就是进入不同的逻辑区域。Namespace 是用在环境上的, Group 是应用,DataId 里边就是一个 key-value 。

这样一看,模型就很简单了。

第二个是在通信协议的选型上,有 gRPC ,HTTP和rsocket等,最终选择了HTTP。因为我们认为配置管理是一个非常通用的需求,不仅 Java 需要,包括淘系的 C语言、Note.JS 都有同样的需求,比如 Note.JS ,前端的一些动态文案,需要动态去更改。所以出于对多语言的兼容,我们选择了HTTP接口 。

第三个是SDK设计上的优化,对Java 而言,用户关心的是体验,例如Spring 的用户最关心的是本地开发的体验。我在刚才那个 property 文件里边写一个东西,通过 @value 注册进来,它拉的是本地的一个配置,解决了本地配置的一个易用性问题。即如果配置中心里边有,从配置中心里边选可配置的 key ,没有的话就用本地的,我们就是通过SDK无缝地去解决了这个问题。

以上是我们在基础设计做的一些设计和思考,接下来我们分享下在控制台体验上的设计。

配置中心控制台设计实践
交互界面的颜色选定
我们把选择权交给了社区,通过设置一个issue话题和投票,我们最终采用了经典黑+蓝色点缀的方案。

控制台的使用体验
我们增强了控制台的易用性,比如提供 Properties 或者 JSON 格式校验的方法来避免,增删改查过程中可能会出现的一些人为错误。

此外,在一个分布式系统中,我们是需要协作的。创建完配置,需要让大家知道创建者为何要创建这个配置,目的是什么。为了解决这个问题,我们给配置打了一些元信息。

举个例子,在阿里巴巴,我们把变更风险分为四级, P1, P2, P3和 P4,P1 是风险最高的。今天的这个demo基本没有风险,我就写个P4 。这个标签就是用来说明这个变更风险不大。但如果是 P1 或者P2 的配置,我就会去做一个管控,一旦有修改是需要创建者来审评的,以降低变更风险。

性能体验
在历经了阿里N代程序员的开发,配置变更最终才沉淀出性能强、容量大和高可用体系完美结合的产品。当时,我们中间件最大的 leader 给我们提一个诉求,“快递三日达,配置推送一秒达”,就是一变更,一秒就能将配置变更推送到几十万台机器,这就是我们当时产品主要的迭代方向之一。那为什么,我们对配置变更的性能要求如此之高呢?

举个例子,上图左边的是机房a,右边的是机房b,其中user 1 和 user 2 是不同的用户 ID ,当尾号为0 的用户访问Region1,当尾号为 1 的用户访问Region2。但是突然我发现线上不知道谁做了变更,没查到原因,发生 Region2尾号为 1的所有用户访问全出现异常了。那是不是我要改变路由规则,让所有的用户,不管ID尾号是 0是 1 都去访问Region1 。要实现这个,就需要通过通过配置变更来实现。且实现的越快,对用户的感知影响就越小。这是Nacos在异地多活的动态路由的典型应用场景。

以上就是我分享的关于配置中心演进、演进过程中的思考以及我们在服务集团内部用户,上云后服务企业用户和开源后服务开发者的一些思考和探索。

原文地址:http://blog.51cto.com/14031893/2329579

时间: 2024-10-23 14:51:47

从内部自用到对外服务,配置管理的演进和设计优化实践的相关文章

使Docker提供对外服务的网络配置(桥接与端口)

前沿: docker 启动容器后,如何对外服务?   希望大家看了这篇文章后有些帮助. docker的有关网络问题没怎么搞清楚,请教了下邓磊同学,感谢 ! Docker生成的容器,一般会给你生成一个ip地址,这个ip地址是和docker0的地址是一个ip段的. 通过ip a命令 ,咱们可以看到docker0的ip和子网的范围 . 大家会发现除了docker0 还有一个vethc 数字的网卡,这个也算是虚拟网卡绑在桥接上的. 我们创建一个容器,并且暴露22端口. 这个22端口的意思是对外暴露了22

Liferay7 BPM门户开发之34: liferay7对外服务类生成(RestService Get Url)

在liferay7中开发不依赖Service Builder的对外服务类,非常简洁,只需要2点注解: 在类的前部定义: @ApplicationPath("/PathXXX") 方法前定义: @GET @Path("/ActionXXX") @Produces("text/plain") 例子:得到注册用户 import com.liferay.portal.kernel.model.User; import com.liferay.portal

巨杉Tech | 微服务趋势下的数据库设计与应用简析

上周五(7月12日)巨杉数据库参与了由得到App主办八里庄技术沙龙活动,分享主题是关于分布式数据库架构与实战.以下就是根据巨杉数据库现场分享的内容进行的分享实录整理.巨杉数据库简介巨杉,专注新一代分布式数据库技术研发,自2011年成立以来,坚持从零开始打造分布式开源数据库引擎,是中国首家连续两年入选 Gartner 数据库报告的数据库厂商.巨杉数据库的主要产品包括 SequoiaDB 分布式关系型数据库与 SequoiaCM 企业内容管理软件,应用场景包括分布式在线交易.数据中台.分布式内容管理

SpringBoot + Kubernetes云原生微服务实践 - (6) 微服务测试设计和实践

微服务测试设计和实践 微服务测试的最大挑战:依赖.解决方案是采用分而治之的策略:a.先针对每一个微服务进行隔离测试,在对每一个微服务进行测试的时候再按照分层的方式进行隔离测试:测试过程中采用mock等技术来隔离依赖简化测试:b.在确保每个微服务通过隔离测试后,再进行整个应用的端到端集成测试 微服务测试分类和技术 Spring(Boot)应用分层 controller 服务的对外接口层,负责接收请求和发送响应 中间涉及到消息,一般是json跟对象间的转换,术语叫做序列化,一般由框架封装 控制器需要

华为架构师8年经验谈:从单体架构到微服务的服务化演进之路

华为架构师8年经验谈:从单体架构到微服务的服务化演进之路 目录技术文章2016年6月28日 转自:http://www.58maisui.com/2016/06/28/a-327/?ref=myread 本次分享的大纲如下: 传统应用开发面临的挑战 服务化实践 服务化不是银弹 服务化架构的演进方向 一 .传统应用开发面临的挑战 挑战1– 研发成本高 主要体现在如下几个方面: 代码重复率高 在实际项目分工时,开发都是各自负责几个功能,即便开发之间存在功能重叠,往往也会选择自己实现,而不是类库共享,

从单体架构到微服务的服务化演进之路

本次分享的大纲如下: 传统应用开发面临的挑战 服务化实践 服务化不是银弹 服务化架构的演进方向 一 .传统应用开发面临的挑战 挑战1– 研发成本高 主要体现在如下几个方面: 代码重复率高 在实际项目分工时,开发都是各自负责几个功能,即便开发之间存在功能重叠,往往也会选择自己实现,而不是类库共享,主要原因如下: 从技术架构角度看,传统垂直架构的特点是本地API接口调用,不存在业务的拆分和互相调用,使用到什么功能就本地开发,非常方便,不需要过度依赖于其它功能模块: 从考核角度来看,共享很难推行.开发

Spring Cloud 微服务设计与实践

整理微服务设计与实践历程,共享给大家. 微服务的描述 The description of microserivce by Martin Fowler : 根据业务模块划分服务种类. 每个服务可以独立部署并且互相隔离. 通过轻量的 API 调用服务. 服务需要保证良好的高可用性. 微服务架构是以专注与单一责任的小功能模块为基础.通过 API 相互通信的方式完成复杂业务系统搭建的一种设计思想. 演变过程 单体架构(Monolithic) -> 垂直架构 -> SOA 架构 -> 微服务架构

K8s原生微服务管理工具helm-v3的使用初探实践(2)

目录:根据微服务的发版需求进行对应用进行调试,使用chart的模版发布微服务1.基于dubbo微服务发布一个基于生产环境用到的helm模版模版地址:git clone [email protected]:zhaocheng172/helm-dubbo.git拉取请把你的公钥给我,不然拉不下来 3.6 Chart模板Helm最核心的就是模板,即模板化的K8S manifests文件.它本质上就是一个Go的template模板.Helm在Go template模板的基础上,还会增加很多东西.如一些自

微服务架构的设计和实践-培训感悟

这两天(4月8号,9号)我有幸参加了极客邦的培训课程-微服务架构的设计和实践,能够面对面倾听58架构师-孙玄的亲身授课,个人也是感到非常的荣幸.两天的时间,来回于广州和深圳,虽然不能说自己的技术有了一个质的提升,但至少也是一次很好的交流体现,这一趟不白走! 身为一个技术小白(虽然个人也有四年的开发经验,但大多的技术只是知其然而不知其所以然,而且接触面太狭隘),此次学习最明显的感受是,如果你只会写软件代码,了解与某种语言相关的语法,框架以及架构包括技术,那你肯定会"死的很惨".作为软件行