分布式架构学习-Consul相关

简介

之前公司用的是Consul进行服务发现以及服务管理,自己一直以来只是用一下,但是没有具体的深入,觉得学习不可以这样,所以稍微研究了一下。

网上有很多关于Consul的介绍和对比,我这里也不嫌丑了,大家搜索的时候可能会经常看到这么一个表格,此表格采摘自:https://luyiisme.github.io/2017/04/22/spring-cloud-service-discovery-products/

Feature Consul zookeeper etcd euerka
服务健康检查 服务状态,内存,硬盘等 (弱)长连接,keepalive 连接心跳 可配支持
多数据中心 支持
kv存储服务 支持 支持 支持
一致性 raft paxos raft
cap ca cp cp ap
使用接口(多语言能力) 支持http和dns 客户端 http/grpc http(sidecar)
watch支持 全量/支持long polling 支持 支持 long polling 支持 long polling/大部分增量
自身监控 metrics metrics metrics
安全 acl /https acl https支持(弱)
spring cloud集成 已支持 已支持 已支持 已支持

下载并配置Consul

我这里是直接使用的虚拟机进行配置Consul,系统是CentOS 7,Consul的安装和配置其实网上也是有一堆教程,这里简单的介绍一下,Consul的下载地址(https://www.consul.io/downloads.html),根据需要选择不同的包:

下载Consul的ZIP包以及使用unzip进行解压,这里简单贴几个命令:

$ wget https://releases.hashicorp.com/consul/1.2.0/consul_1.2.0_linux_amd64.zip
$ yum install unzip
$ unzip consul_0.7.2_linux_amd64.zip
$ mv consul /usr/local/bin/consul

到此,就可以在控制台中输入consul,然后看到有如下打印结果,即代表正常:

开始配置,consul默认有如下几种Mode:

  1. dev ,快捷配置,一般用于调试模式
  2. server,服务器
  3. client,客户端

学习Consul的时候,会有很多教程可能为了快速的入门,所以在配置Consul的时候,直接使用了dev模式,我个人觉得使用这个模式没什么意思,因为使用这个dev效果就跟单机模式是一样的,我们这里是学习分布式架构的,所以不采用。

剩下的还有server模式以及client模式,server模式好理解,在我们搭建的集群中,都是使用此模式。可是client模式主要是用来做什么呢?先看一眼下面的图片:

(图片摘自:https://andyyoung01.github.io/2016/09/27/%E4%BD%BF%E7%94%A8Consul%E8%BF%9B%E8%A1%8C%E6%9C%8D%E5%8A%A1%E5%8F%91%E7%8E%B0/)

上面的图片大致的意思就是有一个server集群,然后如果我们的服务想要加入server集群,就必须要通过client来进行rpc调用。(这个是我的理解,大家可以进行补充)

大致理解了这么一个结构之后,我们开始进行集群的配置,我这里通过虚拟机进行模拟,有如下几台机器:

  1. 192.168.125.118     server1(集群服务器)
  2. 192.168.125.121    server2(集群服务器)
  3. 192.168.125.120    server3(集群服务器)
  4. 192.168.125.119    client(客户端)

三个做集群服务器,还有一个是客户端,集群服务器是由一个CentOS的虚拟机以及其两个拷贝组成,客户端我是在我的笔记本上装了一个Ubuntu的操作系统来实现的。

大致结构了解了之后,我们开始进行配置:

集群服务器的配置分别为:

$ consul agent -server -ui -bootstrap-expect=3 -data-dir=/tmp/consul -node=server1 -client=0.0.0.0 -bind=192.168.125.118
$ consul agent -server -ui -bootstrap-expect=3 -data-dir=/tmp/consul -node=server2 -client=0.0.0.0 -bind=192.168.125.121 
$ consul agent -server -ui -bootstrap-expect=3 -data-dir=/tmp/consul -node=server3 -client=0.0.0.0 -bind=192.168.125.120

简单说一下几个配置:

  • agent                      Consul的核心命令,主要作用有维护成员信息、运行状态检测、声明服务以及处理请求等
  • -server                    就是代表server模式
  • -ui                           代表开启web 控制台
  • -bootstrap-expect        代表想要创建的集群数目,官方建议3或者5
  • -data-dir                       数据存储目录
  • -node                           代表当前node的名称
  • -client                          应该是一个客户端服务注册的地址,可以和当前server的一致也可以是其他主机地址,系统默认是127.0.0.1
  • -bind                            集群通讯地址

上述命令执行完成之后,开始将这些分散的服务器组成集群,命令如下,分别在192.168.125.121和192.168.125.120机器上执行:

$ consul join 168.168.125.118

这里我执行了这个命令之后,得到报错信息,信息大致如下:

Failed to join 192.168.125.118:dial tcp 192.168.125.118:8301:connect:no route to host(这里大致文字描述一下,方便搜索)

查询了一下,之所以出现这个情况是因为CentOS的防火墙,将8301端口加入防火墙就好了,命令大致如下:

$ firewall-cmd --zone=public --add-port=8301/tcp
$ firewall-cmd --reload    /*必须添加,否则重启之后会失效*/

再次执行加入集群命令,出现以下问题:

consul: Failed to confirm peer status for server2: rpc error getting client: failed to get conn: dial tcp 192.168.125.120:0->192.168.125.121:8300: connect: no route to host. Retrying in 1s...

产生这个的原因和上面的一致,加入集群需要和8300端口进行通讯,所以再次将8300端口加入防火墙,这里再说一下,再把8500端口也加入防火墙,因为这个端口是web控制台使用的。

再次执行加入集群命令,再次报错,因为是虚拟机,而且我是克隆的,后面发现在执行这些命令之后,会有如下提示:

* Failed to join 192.168.125.118: Member ‘server1‘ has conflicting node ID ‘b76ff298-accd-05ff-8c64-5d79d866dfa9‘ with this agent‘s ID

通过查询,网上给出的两个解决办法分别如下:

一是在启动agent的时候加入-disable-host-node-id参数,禁止生成node-id。类似这样:

$ consul agent -server -ui -bootstrap-expect=3 -data-dir=/tmp/consul -node=server1 -client=0.0.0.0 -bind=192.168.125.118 -disable-host-node-id

二是可以用-node-id生成一个新的node-id,类似这样:

$ consul agent -server -ui -bootstrap-expect=3 -data-dir=/tmp/consul -node=server1 -client=0.0.0.0 -bind=192.168.125.118 -node-id=$(uuidgen | awk ‘{print tolower($0)}‘)

上面两种方法我都试过,但是都不好使,应该是因为这个node-id已经存在于数据存储目录(即/tmp/consul),名字就叫node-id,使用vi或者vim打开之后可以看到一个guid格式的信息,这里保存的就是node ID的信息,无奈,我只能删除这个文件,然后重新启动命令,得到正常的反馈信息。

至此服务器集群搭建以及配置完成,打开WEB界面如下:

后续再继续client的配置以及编写一个net core的web api并加入consul集群,以及使用fabio进行负载均衡测试,未完待续~~~

参考链接:

https://blog.csdn.net/chenchong08/article/details/77885989(consul分布式集群搭建&简单功能测试&故障恢复)

http://www.cnblogs.com/xishuai/p/macos-ubuntu-install-consul.html(Mac OS、Ubuntu 安装及使用 Consul)

http://www.10tiao.com/html/357/201705/2247485185/1.html(Consul集群部署)

https://havee.me/linux/2015-01/using-firewalls-on-centos-7.html(CentOS 7 下使用 Firewall)

原文地址:https://www.cnblogs.com/briswhite/p/9293554.html

时间: 2024-10-09 11:28:58

分布式架构学习-Consul相关的相关文章

SOA Dubbo分布式架构学习

样例工程:传统的单工程项目(edu-demo) Maven J-UI Struts2 Spring3 MyBatis3 Druid MySQL5.6 只有一个用户信息表(增.删除.查.改) 改造成Dubbo服务调用方式后的工程结构 edu-common-parent(Maven父配置) edu-facade-user(用户服务接口) edu-service-user(用户服务实现) edu-web-boss(服务消费者) 部署环境规划 192.168.2.61  edu-web-boss(con

分布式架构学习之:015--ActiveMQ 的安装与使用(单节点)

ActiveMQ 的安装与使用(单节点) IP:192.168.4.101 环境:CentOS 6.6.JDK7 1. 安装 JDK 并配置环境变量(略) JAVA_HOME=/usr/local/java/jdk1.7.0_72 2. 下载 Linux 版的 ActiveMQ(当前最新版 apache-activemq-5.11.1-bin.tar.gz) $ wget http://apache.fayea.com/activemq/5.11.1/apache-activemq-5.11.1

分布式架构--Dubbo项目实战学习文档

安装Dubbo注册中心(Zookeeper-3.4.6) 安装Dubbo管理控制台 Tomcat中部署web应用 ---- Dubbo服务消费者Web应用war包的部署 Dubbo监控中心的介绍与简易监控中心的安装( 补充文档 ) SVN版本管理系统的安装 CentOS + Subversion + Apache + Jsvnadmin Maven私有库和本地库的安装与配置 Sonatype Nexus + Maven 持续集成篇-- SonarQube代码质量管理平台的安装 持续集成篇-- S

分布式架构相关知识

  传统单体架构 分布式架构系统 新功能开发 需要时间 容易开发和实现 部署 不经常且容易部署 经常发布,部署复杂 隔离性 故障影响范围大 故障影响范围小 架构设计 难度小 难度级数增加 系统性能 响应时间快,吞吐量小 响应时间慢,吞吐量大 系统运维 运维简单 运维复杂 新人上手 学习曲线大(应用逻辑) 学习曲线大(架构逻辑) 技术 技术单一且封闭 技术多样且开放 测试和查错 简单 复杂 系统扩展性 扩展性很差 扩展性很好 系统管理 重点在于开发成本 重点在于服务治理和调度 20世纪90年代,单

【推荐】微服务大型分布式企业框架 dubbo + springmvc + mybatis + ehcache + redis Jeesz分布式架构

框架简介--主要定位于互联网企业架构,已内置企业信息化系统的基础功能和高效的代码生成工具,包括:系统权限组件.数据权限组件.数据字典组件.核心工具 组件.视图操作组件.工作流组件组件.代码生成等.采用分层设计.双重验证.提交数据安全编码.密码加密.访问验证.数据权限验证.平台简介 是一个分布式的框架,提供项目模块化.服务化.热插拔的思想,高度封装安全性的Java EE快速开发平台. 本身集成Dubbo服务管控.Zookeeper注册中心.Redis分布式缓存技术.FastDFS分布式文件系统.A

jeesz分布式架构集成阿里云oss存储

1. 服务接口定义 /** * 文件上传  1:头像 2:显示图片 3:个人封面  :4:基础图片 * @param request * @param response * @param uid 用户id * @param userType 文件上传  1:头像 2:显示图片 3:个人封面  :4:基础图片 0:视频 * @param files 上传的文件对象 * @return * @throws Exception */ @RequestMapping(value = "/upload/b

Windows平台分布式架构实践 - 负载均衡(下)

概述 我们在上一篇Windows平台分布式架构实践 - 负载均衡中讨论了Windows平台下通过NLB(Network Load Balancer) 来实现网站的负载均衡,并且通过压力测试演示了它的效果,可以说还是非常的理想的.同时我们也收集到了不少的问题,比如说如何在这种分布式的架构下使用Session,NLB中有一台服务器挂掉了会导致对外暴露的地址无法访问,如果实现服务器之间的同步,如果更好的进行热修复等等,还有我们在上一篇中也提到了NLB所提供的功能是非常简单的,为了回答我们前面提到的问题

Springmvc+mybatis+shiro+Dubbo+ZooKeeper+Redis+KafKa j2ee分布式架构

摘要: 以Spring Framework为核心容器,Spring MVC为模型视图控制器,MyBatis为数据访问层, Apache Shiro为权限授权层,Ehcahe对常用数据进行缓存,Activit为工作流引擎等. 框架简介--主要定位于互联网企业架构,已内置企业信息化系统的基础功能和高效的代码生成工具,包括:系统权限组件.数据权限组件.数据字典组件.核心工具 组件.视图操作组件.工作流组件组件.代码生成等.采用分层设计.双重验证.提交数据安全编码.密码加密.访问验证.数据权限验证.平台

分布式基础学习(1)--分布式文件系统

分布式基础学习 所谓分布式,在这里,很狭义的指代以Google的三驾马车,GFS.Map/Reduce.BigTable为 框架核心的分布式存储和计算系统.通常如我一样初学的人,会以Google这几份经典的论文作为开端的.它们勾勒出了分布式存储和计算的一个基本蓝图,已 可窥见其几分风韵,但终究还是由于缺少一些实现的代码和示例,色彩有些斑驳,缺少了点感性.幸好我们还有Open Source,还有Hadoop.Hadoop是 一个基于Java实现的,开源的,分布式存储和计算的项目.作为这个领域最富盛