Docker + Consul + registrator实现服务发现及nginx反向代理

一. 架构设计

在现实中，我们一直渴望着追求提供高质量、高可用的服务架构体系，同时减少不必要的部署和维护代价，减少容错率。面对如此高的要求，可以有两种架构方案：
Docker+Etcd+Confd+Nginx
Docker+Consul+Nginx
本文中我们主要来介绍 Docker+Etcd+Confd+Nginx方案，此方案更加高效、快捷，并且维护代价和容错率更低，分布式支持力度更强，如下图所示：

上面示意图的大概流程如下：
1、docker01主机上以二进制包的方式部署consul服务并后台运行，其身份为leader；
2、docker02、docker03以容器的方式运行consul服务，并加入到docker01的consul群集中；
3、在主机docker02、docker03上后台运行registrator容器，使其自动发现docker容器提供的服务；
4、在docker01上部署Nginx，提供反向代理服务，docker02、docker03主机上基于Nginx镜像，各运行两个web容器，提供不同的网页文件，以便测试效果；
5、在docker01上安装consul-template命令，将收集到的信息（registrator收集到容器的信息）写入template模板中，并且最终写入Nginx的配置文件中。
6、至此，实现客户端通过访问Nginx反向代理服务器（docker01），获得docker02、docker03服务器上运行的Nginx容器提供的网页文件。
注：registrator是一个自动发现docker container提供的服务，并且在后端服务注册中心（数据中心）注册服务。主要用来收集容器运行服务的信息，并且发送给consul。数据中心除了consul外，还有etcd、zookeeper等。

二. 架构优势

Docker+Consul+Nginx虽然看起来是三个组件的运用，但却证明是一个有机的整体。它们互相联系、互相作用，完全满足我们对高可用、高效服务架构方案的需求，是Docker生态圈中最理想的组合之一，具有以下优势：

1.发现与注册组件consul使用 Raft 算法来保证一致性，比复杂的Paxos 算法更直接。相比较而言，zookeeper 采用的是 Paxos，而 etcd 使用的则是 Raft；
2.多数据中心，多数据中心集群可以避免单数据中心的单点故障，zookeeper 和 etcd 均不提供多数据中心功能的支持；
3.、实时发现及无感知服务刷新，具备资源弹性，伸缩自如；
4.健康检查，负载能动态在可用的服务实例上进行均衡，etcd 不提供此功能；
5.足够多台Docker容器(前提架构资源足以保证性能支撑)；
6.http 和dns 协议接口，zookeeper 的集成较为复杂，etcd 只支持 http 协议；
7.规模方便进行快速调整，官方提供web管理界面，etcd 无此功能；
8.nsul template 搭配consul使用，支持多种接入层，如Nginx、Haproxy。

三. 实验环境

主机 iP地址 服务
docker01 192.168.1.11 consul+consul-template+nginx
docker02 192.168.1.13 consul+registrator
docker03 192.168.1.20 consul+registrator

三台主机关闭防火墙，禁用selinux，更改主机名如上所述。

四. 部署consul服务

（1）docker01去官网https://www.consul.io/downloads.html下载consul服务

[[email protected] ~]# unzip consul_1.5.1_linux_amd64.zip
//现在是本地导入压缩包，需要解压
[[email protected] ~]# mv consul /usr/local/bin/
//移动服务到bin目录
[[email protected] ~]# chmod +x /usr/local/bin/consul
//给予一个可执行权限

（2）启动consul

[[email protected] ~]# consul agent -server -bootstrap -ui -data-dir=/var/lib/consul-data -bind=192.168.1.11 -client=0.0.0.0 -node=master

PS: //-bootstrap: 加入这个选项时，一般都在server单节点的时候用，自选举为leader。

参数解释：
-server：添加一个服务
-bootstrap：一般在server单节点的时候使用，自选举为leader。
-data-dir：key/volume指定数据存放的目录
-ui：开启内部的web界面
-bind：指定开启服务的ip
-client：指定访问的客户端
-node：在集群内部通信使用的名称，默认是主机名。

现在这个ip是外部使用

PS:开启的端口
8300 集群节点
8301 集群内部的访问
8302 跨数据中心的通信
8500 web ui界面
8600 使用dns协议查看节点信息的端口

可参考下图查看端口的意思：

这时，这条启动consul的命令会占用终端，可以使用nohup命令让它保持后台运行。

[[email protected] ~]# nohup consul agent -server -bootstrap -ui -data-dir=/var/lib/consule-data -bind=192.168.1.11  -client=0.0.0.0 -node=master &

（3）查看consul端口的信息**

[[email protected] ~]# consul info

五. docker01下载部署consul-template

在 https://github.com/hashicorp/consul-template 上，下载consul-template

[[email protected] ~]# unzip consul-template_0.19.5_linux_amd64.zip
//解压安装好的consul-template包
[[email protected] ~]# mv consul-template /usr/local/bin/
//移动到命令目录
[[email protected] ~]# chmod +x /usr/local/bin/consul-template
//给予一个可执行权限

六和七步骤简要说明

在docker01和docker02上操作

先来说一下在docker服务器上操作的大概思路：

分别在两台docker服务器上都创建registrator容器，注意到consul服务中心；
在docker01上运行两台nginx容器（端口随机生成），在docker02上运行两台nginx容器（端口随机生成）；
修改这4台nginx容器中的index.html页面内容为（xgp-web01、xgp-web02、xgp-web03、xgp-web04）
访问consul web界面验证
访问nginx服务器地址 http://192.168.1.11:8000 进行验证；

六. docker02，docker03，加入consul集群

这里我们采用容器的方式去运行consul服务。

（1）下载consu所需的l镜像

[[email protected] ~]# docker pull consul

（2）基于consul镜像开启一台容器

[[email protected] ~]# docker run -d --name consul -p 8301:8301 -p 8301:8301/udp -p 8500:8500 -p 8600:8600 -p 8600:8600/udp --restart always progrium/consul -join 192.168.1.11 -advertise 192.168.1.13 -client 0.0.0.0 -node=node01

参数解释：

-d：守护进程

--name：容器名称

--restart：容器随着docker服务一直运行

-advertise:声明本机地址

-join:声明服务端地址

-node:consul集群中的名称

（3）docker查看consul集群成员的信息

[[email protected] ~]# consul members

（4）两台docker开启容器后，docker01查看

（5）浏览器访问http://192.168.1.11:8500

七. docker02、docker03 上部署registrator服务

registrator是一个能自动发现docker container提供的服务,并在后端服务注册中心注册服务或取消服务的工具，后端注册中心支持conusl、etcd、 skydns2、zookeeper等。

（1）下载registrator镜像

[[email protected] ~]# docker pull registrator
//下载registrator镜像

（2）基于registrator镜像，开启一台容器

[[email protected] ~]# docker run -d  --name registrator -v /var/run/docker.sock:/tmp/docker.sock  --restart always gliderlabs/registrator consul://192.168.1.13:8500

参数说明：

--network：把运行的docker容器设定为host网络模式；
-v /var/run/docker.sock：把宿主机的Docker守护进程(Docker daemon)默认监听的Unix域套接字挂载到容器中；
--ip : 刚才把network指定了host模式，所以我们指定下IP为宿主机的IP；
consul:j最后这个选项是配置consul服务器的IP和端口。

（3）开启一台nginx容器

[[email protected] ~]# docker run -d —P --name nginx nginx:latest

（4）浏览器查看一下http://192.168.1.11:8500/ui/dc1/nodes


八.docker01部署一个nginx服务

配置nginx，大概配置的思路为：

在/usr/local/nginx/conf中创建目录consul，目录名自定义；
在consul目录中创建nginx.ctmpl模板；
在nginx.conf配置中添加include项并指向consul目录 ；
重启nginx服务；

（1）安装开启nginx服务

安装nginx依赖包

[[email protected] ~]#  yum -y install pcre pcre-devel openssl openssl-devel zlib zlib-devel

编译安装nginx

[[email protected] ~]# cd nginx-1.14.0/
[[email protected] nginx-1.14.0]# ./configure --user=nginx --group=nginx  --with-http_stub_status_module --with-http_realip_module --with-pcre --with-http_ssl_module && make && make install

创建所需用户和链接命令目录

[[email protected] nginx-1.14.0]# useradd -M -s /sbin/nologin nginx
[[email protected] nginx-1.14.0]# ln -s /usr/local/nginx/sbin/* /usr/local/bin/

检查nginx是否有问题，并开启nginx

[[email protected] nginx-1.14.0]# nginx -t
nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful
[[email protected] nginx-1.14.0]# nginx

PS:这里nginx作为反向代理，代理后端docker02、 docker03 上nginx的容器服务,所以我们先去docker02、docker03. 上部署一些服务， 为了方便等会看到负载的效果，所以，我们运行完成容器之后，做一个主界面内容的区分。

（2）安装完成之后，本机测试访问

[[email protected] nginx-1.14.0]# curl 127.0.0.1

（3）部署环境

主机 服务
docker02 nginx web01，web02
docker03 nginx web03，web04

<1>下载nginx镜像（docker02，docker03都要）

[[email protected] ~]# docker pull nginx
//下载nginx镜像

<2>docker01操作

基于nginx镜像运行上述所说的容器并设置测试页面

web01
[[email protected] ~]# docker run  -itd --name web01 -P nginx:latest
[[email protected] ~]# docker exec -it web01 /bin/bash
[email protected]:/# cd /usr/share/nginx/html/
[email protected]:/usr/share/nginx/html# echo web01 > index.html

web02
[[email protected] ~]# docker run  -itd --name web02 -P nginx:latest
[[email protected] ~]# docker exec -it web02 /bin/bash
[email protected]:/# cd /usr/share/nginx/html/
[email protected]:/usr/share/nginx/html# echo web02 > index.html

<3>docker02操作

基于nginx镜像运行上述所说的容器并设置测试页面

web03
[[email protected] ~]#  docker run  -itd --name web03 -P nginx:latest
[[email protected] ~]#  docker exec -it web03 /bin/bash
[email protected]:/# cd /usr/share/nginx/html/
[email protected]:/usr/share/nginx/html#  echo web03 > index.html
[email protected]:/usr/share/nginx/html# exit

web04
[[email protected] ~]#  docker run  -itd --name web04 -P nginx:latest
[[email protected] ~]#  docker exec -it web04 /bin/bash
[email protected]:/# cd /usr/share/nginx/html/
[email protected]:/usr/share/nginx/html#  echo web04 > index.html
[email protected]:/usr/share/nginx/html# exit

（4）docker01更改nginx配置文件

[[email protected] ~]# cd /usr/local/nginx/
//进入nginx配置文件目录
[[email protected] nginx]# mkdir consul
//创建consul目录
[[email protected] nginx]# cd consul/
//进入consul目录

<1>创建nginx.ctmpl模板

[[email protected] consul]# vim nginx.ctmpl
upstream http_backend {
        {{range service "nginx"}}
        server {{ .Address }}:{{ .Port }};
        {{ end }}
}

server {
        listen 8000;
        server_name localhost;
        location / {
                proxy_pass http://http_backend;
        }
}

nginx.ctmpl模板中的内容就是两段意思，熟悉nginx的朋友一看也能明白：第1 定义nginx upstream一个简单模板，第2 定义一个server，监听8000端口，反向代理到upstream。

<2>修改nginx配置文件，通过 include 参数包含刚刚创建的文件

[[email protected] consul]# cd /usr/local/nginx/conf/
[[email protected] conf]# vim nginx.conf
  include /usr/local/nginx/consul/*.conf;  #文件最后添加（要在大括号里面）

<3> 生成一个vhost.conf配置文件，并重启nginx（会占用终端)

使用consul-template命令，根据模板生产新的配置文件，并重新加载nginx的配置文件。

[[email protected] conf]# consul-template -consul-addr 192.168.1.11:8500 -template "/usr/local/nginx/consul/nginx.ctmpl:/usr/local/nginx/consul/vhost.conf:/usr/local/bin/nginx -s reload"

参数说明：

--consul-addr：指定consul服务的ip和端口；
./nginx.ctmpl：这是用nginx.ctmpl这个模板来启动进程，这是写的相对路径，也可以写绝对路径；
vhost.conf：nginx.ctmpl模板生成后的文件名，这也可以写绝对路径，如果不写绝对路径，这个文件就在当前目录生成（/usr/local/nginx/consul/）

这时，这条命令会占用终端，可以使用nohup命令让它保持后台运行,并重启nginx服务。

[[email protected] conf]# nohup consul-template -consul-addr 192.168.1.11:8500 -template   "/usr/local/nginx/consul/nginx.ctmpl:/usr/local/nginx/consul/vhost.conf:/usr/local/sbin/nginx -s reload"  &

查看一下文件是否生成，里面是否有内容

[[email protected] ~]# cd /usr/local/nginx/consul/
[[email protected] consul]# ls
nginx.ctmpl  vhost.conf

[[email protected] consul]# cat vhost.conf

此时，应该能够看到，新生产的vhost.conf配置文件已经生效，访问本机8000端口可以得到不同容器提供的服务。

<4>测试访问

[[email protected] consul]# curl 127.0.0.1:8000
web01

此时可以看到负载均衡的效果！

<5>如果访问不成功

查看端口8000是否开启

[[email protected] consul]# ss -lnt

检查nginx配置文件

[[email protected] consul]# nginx -t
nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful

检查自己编写的nginx配置文件

[[email protected] consul]# cd /usr/local/nginx/consul/
[[email protected] consul]# cat nginx.ctmpl
upstream http_backend {
    {{range service "nginx"}}
    server {{ .Address }}:{{ .Port }};
    {{ end }}
}

server {
    listen 8000;
    server_name localhost;
    location / {
        proxy_pass http://http_backend;
    }
}

如果nginx配置文件没问题，重启nginx

[[email protected] consul]# nginx -s reload

<6>测试自动发现

docker02 创建测试容器

[[email protected] ~]# docker run  -itd --name web05 -P nginx:latest
[[email protected] ~]# docker exec -it web05 /bin/bash
[email protected]:/# cd /usr/share/nginx/html/
[email protected]:/usr/share/nginx/html# echo web02 > index.html
[[email protected] ~]# docker ps

docker01查看

[[email protected] consul]# cd /usr/local/nginx/consul/
[[email protected] consul]# cat vhost.conf

docker01测试访问

[[email protected] consul]# curl 127.0.0.1:8000

//同上

此时可以看到负载均衡的效果！

这时不需要考虑后端的web服务器添加还是删除都会自动更新的，这是因为在运行consul-template这条命令后添加的/usr/local/sbin/nginx -s reload的作用！

原文地址：https://blog.51cto.com/14320361/2462216

时间： 2024-10-29 18:01:11

Docker + Consul + registrator实现服务发现及nginx反向代理的相关文章

Consul+Registrator+Docker实现服务发现（nginx反向代理）

环境准备: consul:高可用,分布式的服务发现的工具 master主机-docker01:172.16.1.30 node01主机-docker02:172.16.1.31node02主机-docker03:172.16.1.32 注意:因为是测试环境,所以暂时关闭防火墙,禁用selinux,如果是对外网发布的服务器,是不可以关闭防火墙,可以设置iptables规则. 项目操作: (1)docker01上部署consul:下载或上传consul_1.5.1_linux_amd64软件包: [

基于docker服务配置Consul+registrator实时服务发现

Consul是用于服务发现和配置的工具.Consul是分布式的,高度可用的,并且具有极高的可伸缩性. Consul服务提供以下关键特性: 服务发现:Consul 的客户端可用提供一个服务,比如 api 或者mysql ,另外一些客户端可用使用 Consul 去发现一个指定服务的提供者.通过 DNS 或者 HTTP 应用程序可用很容易的找到他所依赖的服务: 健康检查:Consul 客户端可用提供任意数量的健康检查,指定一个服务(比如: webserver 是否返回了200 OK 状态码)或者使用本

.net core 跨平台开发 微服务架构 基于Nginx反向代理 服务集群负载均衡

1.概述 反向代理(Reverse Proxy)方式是指以代理服务器来接受internet上的连接请求,然后将请求转发给内部网络上的服务器,并将从服务器上得到的结果返回给internet上请求连接的客户端,此时代理服务器对外就表现为一个服务器. 服务器集群就是指将很多服务器集中起来一起进行同一种服务,在客户端看来就像是只有一个服务器.集群可以利用多个计算机进行并行计算从而获得很高的计算速度,也可以用多个计算机做备份,从而使得任何一个机器坏了整个系统还是能正常运行. 负载均衡,英文名称为Load

Docker+Consul+Registrator实现服务自动注册与发现

近年微服务架构在互联网应用领域中愈来愈火,引入微服务主要解决了单体应用多个模块的紧耦合.无法扩展和运维困难等问题.微服务架构就是按照功能粒度将业务模块进行垂直拆分,对单体应用本身进行服务化和组件化,每个组件单独部署为小应用(从DB到UI).微服务与微服务之间通过Service API进行交互,同时为了支持水平扩展.性能提升和服务可用性,单个服务允许同时部署一个或者多个服务实例.在运行时,每个实例通常是一个云虚拟机或者Docker容器.本篇文章就可以完美的解决这一问题! 关于docker这里就不多

nginx反向代理取得IP地址

nginx反向代理后,在应用中取得的ip都是反向代理服务器的ip,取得的域名也是反向代理配置的url的域名,解决该问题,需要在nginx反向代理配置中添加一些配置信息,目的将客户端的真实ip和域名传递到应用程序中. nginx反向代理配置时,一般会添加下面的配置: proxy_set_header Host $host;      proxy_set_header X-Real-IP $remote_addr;      proxy_set_header REMOTE-HOST $remote_

ubuntu 16.04利用docker搭建java+tomcat+nginx反向代理/动静分离

ubuntu 16.04利用docker搭建java+tomcat+nginx反向代理 新建两个docker容器 docker run -it --name Tomcat-mysql -v /mnt:/mnt -p 8866:80 -p 33006:3306 ubuntu /bin/bash docker run -itd --name webserver -p 8888:80 -v /mnt/:/mnt/ ubuntu /bin/bash [email protected]:~# docker

Web服务之Nginx反向代理与负载均衡

一.代理 正向代理: 正向代理是一个位于客户端和目标服务器之间的服务器,为了从目标服务器取得内容,客户端向代理发送一个请求并指定目标服务器,然后代理向目标服务器转交请求并将获得的内容返回给客户端.客户端必须要进行一些特别的设置才能使用正向代理. 作用: 访问无法访问的服务器(翻墙,懂得) 加速访问目标服务器(链路加速) Cache缓存(访问加速) 实现客户端访问授权 隐藏访问者 反向代理: 反向代理(Reverse Proxy)方式是指以代理服务器来接受internet上的连接请求,然后将请求转

linux-nginx服务nfs服务nginx反向代理三台web

一:nginx服务 1.二进制安装nginx包 [[email protected] ~]# systemctl disable firewalld  #关闭Firewalls自启动 Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service. Removed symlink /etc/systemd/system/basic.target.wants/firewalld.service. [[ema

Nginx反向代理https服务

背景: 最近因工作需要,需在web前端做一个代理,来解决部分用户不能访问的需求:之前通过nginx反向代理已实现对web的代理,但后来发现还有站点为https的,所以又找了些资料,整理了一下,测试完成. 方法: Nginx代理web站点ttxsgoto.com的相关部署和配置主要如下脚本实现: #!/bin/bash path_soft=$(pwd) function base(){ yum -y install  make gcc gcc-c++ autoconf } function ins