基于Docker的Consul服务发现集群搭建

原文:基于Docker的Consul服务发现集群搭建

在去年的.NET Core微服务系列文章中，初步学习了一下Consul服务发现，总结了两篇文章。本次基于Docker部署的方式，以一个Demo示例来搭建一个Consul的示例集群，最后给出一个HA的架构示范，也会更加贴近于实际应用环境。

一、示例整体架构

　　此示例会由一个API Gateway, 一个Consul Client以及三个Consul Server组成，有关Consul的Client和Server这两种模式的Agent的背景知识，请移步我之前的文章加以了解：《.NET Core微服务之基于Consul实现服务治理》。其中，Consul的Client和Server节点共同构成一个Data Center，而API Gateway则从Consul中获取到服务的IP和端口号，并返回给服务消费者。这里的API Gateway是基于Ocelot来实现的，它不是这里的重点，也就不过多说明了，不了解的朋友请移步我的另一篇：《.NET Core微服务之基于Ocelot实现API网关服务》。

二、Consul集群搭建

2.1 Consul镜像拉取

docker pull consul:1.4.4

　　验证：docker images

　　

2.2 Consul Server实例创建

　　以下我的实践是在一台机器上（CentOS 7）操作的，因此将三个实例分别使用了不同的端口号（区别于默认端口号8500）。实际环境中，建议多台机器部署。

　　（1）Consul实例1

docker run -d -p 8510:8500 --restart=always -v /XiLife/consul/data/server1:/consul/data -v /XiLife/consul/conf/server1:/consul/config -e CONSUL_BIND_INTERFACE=‘eth0‘ --privileged=true --name=consul_server_1 consul:1.4.4 agent -server -bootstrap-expect=3 -ui -node=consul_server_1 -client=‘0.0.0.0‘ -data-dir /consul/data -config-dir /consul/config -datacenter=xdp_dc;

　　（2）Consul实例2

　　为了让Consul实例2加入集群，首先获取一下Consul实例1的IP地址：

　　JOIN_IP="$(docker inspect -f ‘{{.NetworkSettings.IPAddress}}‘ consul_server_1)";

docker run -d -p 8520:8500 --restart=always -v /XiLife/consul/data/server2:/consul/data -v /XiLife/consul/conf/server2:/consul/config -e CONSUL_BIND_INTERFACE=‘eth0‘ --privileged=true --name=consul_server_2 consul:1.4.4 agent -server -ui -node=consul_server_2 -client=‘0.0.0.0‘ -datacenter=xdp_dc -data-dir /consul/data -config-dir /consul/config -join=$JOIN_IP;　　

　　（3）Consul实例3

docker run -d -p 8530:8500 --restart=always -v /XiLife/consul/data/server3:/consul/data -v /XiLife/consul/conf/server3:/consul/config -e CONSUL_BIND_INTERFACE=‘eth0‘ --privileged=true --name=consul_server_3 consul:1.4.4 agent -server -ui -node=consul_server_3 -client=‘0.0.0.0‘ -datacenter=xdp_dc -data-dir /consul/data -config-dir /consul/config -join=$JOIN_IP;

　　验证1：docker exec consul_server_1 consul operator raft list-peers

　　

　　验证2：http://192.168.16.170:8500/

　　

2.3 Consul Client实例创建

　　（1）准备services.json配置文件，向Consul注册两个同样的Product API服务

    {
      "services": [
        {
          "id": "core.product-/192.168.16.170:8000",
          "name": "core.product",
          "tags": [ "xdp-/core.product" ],
          "address": "192.168.16.170",
          "port": 8000,
          "checks": [
            {
              "name": "core.product.check",
              "http": "http://192.168.16.170:8000/api/health",
              "interval": "10s",
              "timeout": "5s"
            }
          ]
        },
        {
          "id": "core.product-/192.168.16.170:8001",
          "name": "core.product",
          "tags": [ "xdp-/core.product" ],
          "address": "192.168.16.170",
          "port": 8001,
          "checks": [
            {
              "name": "core.product.check",
              "http": "http://192.168.16.170:8001/api/health",
              "interval": "10s",
              "timeout": "5s"
            }
          ]
        }
      ]
    }

　　有关配置文件的细节，请移步另一篇文章：《.NET Core微服务之基于Consul实现服务治理（续）》

　　（2）Consul Client实例

docker run -d -p 8550:8500 --restart=always -v /XiLife/consul/conf/client1:/consul/config -e CONSUL_BIND_INTERFACE=‘eth0‘ --name=consul_client_1 consul:1.4.4 agent -node=consul_client_1 -join=$JOIN_IP -client=‘0.0.0.0‘ -datacenter=xdp_dc -config-dir /consul/config

　　（3）验证

　　

　　

　　

2.4 服务检查监控邮件提箱

　　（1）为Client添加watches.json

       {
          "watches": [
            {
              "type": "checks",
              "handler_type": "http",
              "state": "critical",
              "http_handler_config": {
                "path": "http://192.168.16.170:6030/api/Notifications/consul",
                "method": "POST",
                "timeout": "10s",
                "header": { "Authorization": [ "token" ] }
              }
            }
          ]
        }

　　*.这里的api接口 http://192.168.16.170:6030/api/Notifications/consul是我的一个通知服务接口，下面是实现的代码

        /// <summary>
        /// 发送Consul服务中心健康检查Email
        /// </summary>
        [HttpPost("consul")]
        public async Task SendConsulHealthCheckEmail()
        {
            using (var stream = new MemoryStream())
            {
                HttpContext.Request.Body.CopyTo(stream);
                var ary = stream.ToArray();
                var str = Encoding.UTF8.GetString(ary);

                dynamic notifications = JsonConvert.DeserializeObject(str);
                if (notifications == null || notifications.Count == 0)
                {
                    return;
                }

                var title = "XDP服务中心健康检查通知";
                var emailBody = new StringBuilder($"<span style=‘font-weight:bold; color:red;‘>{title}</span> : <br/>");
                foreach (var notification in notifications)
                {
                    emailBody.AppendLine($"---------------------------------------------------------<br/>");
                    emailBody.AppendLine($"<span style=‘font-weight:bold;‘>节点</span>:{notification.Node}<br/>");
                    emailBody.AppendLine($"<span style=‘font-weight:bold;‘>服务ID</span>:{notification.ServiceID}<br/>");
                    emailBody.AppendLine($"<span style=‘font-weight:bold;‘>服务名称</span>:{notification.ServiceName}<br/>");
                    emailBody.AppendLine($"<span style=‘font-weight:bold;‘>检查ID</span>:{notification.CheckID}<br/>");
                    emailBody.AppendLine($"<span style=‘font-weight:bold;‘>检查名称</span>:{notification.Name}<br/>");
                    emailBody.AppendLine($"<span style=‘font-weight:bold;‘>检查状态</span>:{notification.Status}<br/>");
                    emailBody.AppendLine($"<span style=‘font-weight:bold;‘>检查输出</span>:{notification.Output}<br/>");
                    emailBody.AppendLine($"---------------------------------------------------------<br/>");
                }

                var email = new Email()
                {
                    Username = _configuration["EmailSettings:Username"],
                    Password = _configuration["EmailSettings:Password"],
                    SmtpServerAddress = _configuration["EmailSettings:SmtpServerAddress"],
                    SmtpPort = Convert.ToInt32(_configuration["EmailSettings:SmtpPort"]),
                    Subject = title,
                    Body = emailBody.ToString(),
                    Recipients = _configuration["EmailSettings:Recipients"]
                };

                email.Send();
            }
        }

            /// <summary>
            /// 使用同步发送邮件
            /// </summary>
            public void Send()
            {
                using (SmtpClient smtpClient = GetSmtpClient)
                {
                    using (MailMessage mailMessage = GetClient)
                    {
                        if (smtpClient == null || mailMessage == null) return;
                        Subject = Subject;
                        Body = Body;
                        //EnableSsl = false;
                        smtpClient.Send(mailMessage); //异步发送邮件,如果回调方法中参数不为"true"则表示发送失败
                    }
                }
            }

　　（2）验证

　　

三、Ocelot网关配置

3.1 为Ocelot增加Consul支持

　　（1）增加Nuget包：Ocelot.Provider.Consul

Nuget>> Install-Package Ocelot.Provider.Consul　　

　　（2）修改StartUp.cs，增加Consul支持

s.AddOcelot()
    .AddConsul();

　　更多内容，请移步：Ocelot官方文档-服务发现

3.2 修改Ocelot配置文件增加Consul配置

    "GlobalConfiguration": {
        "BaseUrl": "http://api.xique.com",
        "ServiceDiscoveryProvider": {
             "Host": "192.168.16.170",
             "Port": 8550,
             "Type": "Consul"
        }
    }

　　*.这里指向的是Consul Client实例的地址

　　此外，Ocelot默认策略是每次请求都去Consul中获取服务地址列表，如果想要提高性能，也可以使用PollConsul的策略，即Ocelot自己维护一份列表，然后定期从Consul中获取刷新，就不再是每次请求都去Consul中拿一趟了。例如下面的配置，它告诉Ocelot每2秒钟去Consul中拿一次。

    "Type": "PollConsul",
    "PollingInterval": 2000

3.3 Service配置

    // -- Service
    {
      "UseServiceDiscovery": true,
      "DownstreamPathTemplate": "/api/{url}",
      "DownstreamScheme": "http",
      "ServiceName": "core.product",
      "LoadBalancerOptions": {
        "Type": "RoundRobin"
      },
      "UpstreamPathTemplate": "/product/{url}",
      "UpstreamHttpMethod": [ "Get", "Post", "Put", "Delete" ]
    }

　　这里配置了在Consul中配置的服务名（ServiceName），以及告诉Ocelot我们使用轮询策略（RoundRobin）做负载均衡。

3.4 验证

　　第一次访问：

　　

　　第二次访问：

　　

四、HA示例整体架构

　　对于实际应用中，我们往往会考虑单点问题，因此会借助一些负载均衡技术来做高可用的架构，这里给出一个建议的HA示例的整体架构：

　　对于一个API请求，首先会经历一个Load Balancer才会到达API Gateway，这个Load Balancer可以是基于硬件的F5，也可以是基于软件的Nginx或LVS再搭配Keepalived，一般来说大部分团队都会选择Nginx。然后API Gateway通过部署多个，来解决单点问题，也达到负载均衡的效果。而对于API Gateway和Consul Client之间的连接，我们往往也会增加一个Load Balancer来实现服务发现的高可用，这个Load Balancer也一般会基于Nginx/LVS搭配Keepalived，API Gateway只需要访问一个Virtual IP即可。而在Consul Data Center中，Consul Server会选择3或5个，Consul Client也会部署多个，刚刚提到的Virtual IP则会指向多个Consul Client，从而防止了Consul Client的单点问题。

　　最后，祝大家端午安康！

　　

　　

作者：周旭龙

出处：http://edisonchou.cnblogs.com

本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文链接。

原文地址：https://www.cnblogs.com/lonelyxmas/p/11001182.html

时间： 2024-10-11 04:22:04

基于Docker的Consul服务发现集群搭建的相关文章

安装-consul服务发现集群

centos 7.4.x consul  1.2.2 list: 172.16.16.103 172.16.16.112 172.16.16.115 下载: #cd /usr/local/ #wget  https://releases.hashicorp.com/consul/1.2.2/consul_1.2.2_linux_amd64.zip #tar zxvf xxxxxx.zip #第一台启动 #nohup ./consul agent -bind=172.16.16.112 -serv

搜索服务Solr集群搭建 使用ZooKeeper作为代理层

上篇文章搭建了zookeeper集群 那好,今天就可以搭建solr搜服服务的集群了,这个和redis 集群不同,是需要zk管理的,作为一个代理层 安装四个tomcat,修改其端口号不能冲突.8080~8083 如果是正式环境下,则分别使用4台linux作为节点 修改server.xml文件修改端口号,总共3个 以上步骤,在tomcat03,tomcat04上重复执行,但是3个端口一定要注意不能重复 向tomcat下部署solr 把单机版的solr工程复制到tomcat下即可 solr在别的机子上

配置hadoop集群服务之四-集群搭建

接下来开始真正意义上的集群搭建 p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 12.0px "Helvetica Neue"; color: #454545 } Tip:hadoop集群搭建完以后,最好要格式化:hadoop namenode -format; HDFS集群是否启动成功,看这两个进程:namenode/datanode; Yarn集群是否启动成功,看这两个进程:Resourcemanager/Namemanager; p.p

基于redhat7.3 ceph对象存储集群搭建+owncloud S3接口整合生产实践

一.环境准备 安装redhat7.3虚拟机四台 在四台装好的虚拟机上分别加一块100G的硬盘.如图所示: 3.在每个节点上配置主机名 4.集群配置信息如下 admin-node node1 node2 node3 192.168.42.110 192.168.42.111 192.168.42.112 192.168.42.113 deploy.osd*1 mon*1.osd*1. rgw*1.mds*1 mon*1.osd*1 mon*1.osd*1 5.各节点配置yum源 #需要在每个主机上

基于 Docker 的微服务架构实践

本文来自作者 未闻 在 GitChat 分享的{基于 Docker 的微服务架构实践} 前言 基于 Docker 的容器技术是在2015年的时候开始接触的,两年多的时间,作为一名 Docker 的 DevOps,也见证了 Docker 的技术体系的快速发展.本文主要是结合在公司搭建的微服务架构的实践过程,做一个简单的总结.希望给在创业初期探索如何布局服务架构体系的 DevOps,或者想初步了解企业级架构的同学们一些参考. Microservice 和 Docker 对于创业公司的技术布局,很多声

Hadoop3集群搭建之——hive添加自定义函数UDTF （一行输入，多行输出）

上篇: Hadoop3集群搭建之--虚拟机安装 Hadoop3集群搭建之--安装hadoop,配置环境 Hadoop3集群搭建之--配置ntp服务 Hadoop3集群搭建之--hive安装 Hadoop3集群搭建之--hbase安装及简单操作 Hadoop3集群搭建之--hive添加自定义函数UDF Hadoop3集群搭建之--hive添加自定义函数UDTF 上篇中,udtf函数,只有为一行输入,一行输出.udtf是可以一行输入,多行输出的. 简述下需求: 输入开始时间,结束时间,返回每个小时的

服务发现之美：Consul集群搭建

近几年随着Docker容器技术.微服务等架构的兴起,人们开始意识到服务发现的必要性.微服务架构简单来说,是一种以一些微服务来替代开发单个大而全应用的方法, 每一个小服务运行在自己的进程里,并以轻量级的机制来通信, 通常是 HTTP RESTful API.微服务强调小快灵, 任何一个相对独立的功能服务不再是一个模块, 而是一个独立的服务.那么,当我们需要访问这个服务时,如何确定它的地址呢?这时就需要服务发现了. Consul 是 HashiCorp 公司推出的开源工具,用于实现分布式系统的服务发

8分钟学会Consul集群搭建及微服务概念

原文:8分钟学会Consul集群搭建及微服务概念 Consul介绍: Consul 是由 HashiCorp 公司推出的开源软件,用于实现分布式系统的服务发现与配置.与其他分布式服务注册与发现的方案,Consul 的方案更“一站式”,内置了服务注册与发现框 架.分布一致性协议实现.健康检查.Key/Value 存储.多数据中心方案,不再需要依赖其他工具(比如 ZooKeeper 等),使用起来也较为简单. Consul的如何实现的? Consul 用 Golang 实现,因此具有天然可移植性(支

一篇文章了解Consul服务发现实现原理

从 2016 年起就开始接触 Consul,使用的主要目的就是做服务发现,后来逐步应用于生产环境,并总结了少许使用经验. 最开始使用 Consul 的人不多,这两年微服务越来越火,使用 Consul 的人也越来越多. 经常有人会问一些问题,比如: 服务注册到节点后,其他节点为什么没有同步? Client 是干什么的?(Client 有什么作用?) 能不能直接注册到 Server?(是否只有 Server 节点就够了?) 服务信息是保存在哪里的? 如果节点挂了,健康检查能不能转移到别的节点? 有些