容器部署Spring Cloud项目 / 憋错料

部署eureka和config

最后我们在rancher上部署eureka和config项目，首先我们需要在本地创建这两个项目的docker镜像，然后推送到网易云镜像仓库上。

关于使用Docker部署项目以及Rancher的安装及使用，可以参考我另外两篇文章，本文则不再赘述了：

在eureka项目的根目录中，创建一个Dockerfile文件，编辑文件内容如下：

FROM hub.c.163.com/library/java:8-alpine

MAINTAINER zeroJun [email protected]

ADD target/*.jar app.jar

EXPOSE 8761

ENTRYPOINT ["java", "-jar", "/app.jar"]

然后push到git仓库上，接着到服务器上，克隆这个仓库，并且登录你的网易云镜像仓库账户：

[[email protected] ~]# cd /tmp
[[email protected] /tmp]# git clone [email protected]:Zero-One/eureka.git
...
[[email protected] /tmp]# cd eureka/
[[email protected] /tmp/eureka]# docker login -u {登录账号} -p {你的网易云密码} hub.c.163.com
[[email protected] /tmp/eureka]#

注：由于windows下不太方便使用docker，所以我将项目上传到远程的git仓库，然后在一台CentOS服务器上完成这些操作。

编写一个简单的shell脚本来完成build镜像的工作：

[[email protected] /tmp/eureka]# vim build_eureka.sh
#!/bin/bash
mvn clean package -Dmaven.test.skip=true
docker build -t hub.c.163.com/zerojun/eureka .
docker push hub.c.163.com/zerojun/eureka
[[email protected] /tmp/eureka]#

运行脚本：

[[email protected] /tmp/eureka]# sh ./build_eureka.sh

脚本执行完成后，到镜像仓库上可以看到镜像已经成功push上来了：

完成eureka镜像的build后，我们使用同样的套路build config项目的docker镜像。同样的，在config项目的根目录中，创建一个Dockerfile文件，编辑文件内容如下：

FROM hub.c.163.com/library/java:8-alpine

MAINTAINER zeroJun [email protected]

ADD target/*.jar app.jar

EXPOSE 8080

ENTRYPOINT ["java", "-jar", "/app.jar"]

并且修改配置文件中eureka的地址为服务名称，如下：

eureka:
  client:
    service-url:
      defaultZone: http://eureka:8761/eureka/  # 修改为rancher上的服务名称

然后push到git仓库上，接着到服务器上，克隆这个仓库，由于之前已经登录过网易云镜像仓库账户，所以不用登录了：

[[email protected] /tmp]# git clone [email protected]:Zero-One/config.git
...
[[email protected] /tmp]# cd config/
[[email protected] /tmp/config]#

同样编写一个简单的shell脚本来完成build镜像的工作：

[[email protected] /tmp/config]# vim build_config.sh
#!/bin/bash
mvn clean package -Dmaven.test.skip=true
docker build -t hub.c.163.com/zerojun/config .
docker push hub.c.163.com/zerojun/config
[[email protected] /tmp/config]#

运行脚本：

[[email protected] /tmp/config]# sh ./build_config.sh

脚本执行完成后，此时镜像仓库上就有eureka和config的镜像了：

默认push的镜像都是私有的访问权限，我们需要设置为公开的，否则无法被外部访问：

点击镜像可以查看到镜像仓库详情，复制镜像的下载地址：

到rancher上部署工作负载：

部署完成：

使用浏览器看看是否能访问到eureka的信息面板：

eureka部署成功后，使用同样的方式去部署config：

不过我这里部署config失败，错误日志如下，提示无法启动内嵌的Tomcat：

尝试多次更改配置后，最后发现原来在pom.xml中，需要增加如下依赖（然而我本地没这个依赖运行却是正常的）：

<dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-config-server</artifactId>
</dependency>

并且需要修改配置文件如下：

spring:
  application:
    name: config
  cloud:
    config:
      server:
        git:
          uri: https://gitee.com/Zero-One/config-repo
          username: username
          password: password
  rabbitmq:
    host: 127.0.0.1
    port: 5672
    username: username
    password: password
eureka:
  client:
    service-url:
      defaultZone: http://192.168.190.130/eureka/  # 修改为主机ip
  instance:
    prefer-ip-address: true  # 让eureka上的地址能够跳转到实例的ip地址
management:
  endpoints:
    web:
      exposure:
        include: "*"

修改之后，需要重新push代码并build镜像，接着再到rancher上重新部署，这次就部署成功了：

也成功在注册中心注册上了：

但是我在浏览器上尝试去访问配置文件的时候无法访问，错误提示无法克隆仓库：

Cannot clone or checkout repository: https://gitee.com/Zero-One/config-repo

浏览器返回的信息如下：

经过一番排查后，发现是这个容器内无法ping通外网，所以无法克隆远程的仓库。确定问题后，马上查找不能ping通外网的原因。发现是因为Alpine系统使用了musl libc，与其他Linux发行版使用的glibc实现会有所不同，即musl实现的DNS服务不会使用resolv.conf文件中的search和domain两个配置。于是进入到容器中手动配置一下DNS解析，如下：

# vi /etc/resolv.conf
nameserver 218.2.135.1
nameserver 202.102.24.35

另一个方法是到rancher上修改容器的网络设置，这种方式会方便一些，因为容器会经常销毁、重建，每次都手动去配置DNS比较麻烦。如下：

注：使用这种方法会导致无法使用rancher的服务发现功能，也就是不能配置rancher里的服务名了，只能配置主机的ip地址

问题解决后，这时终于能够成功访问到配置文件了：

构建eureka高可用服务

在上一小节中，我们完成了eureka和config服务的部署，也解决了一些坑，但是还有个问题，就是目前eureka是单点的。eureka作为整个服务的注册中心，必然是需要高可用的，所以本小节我们来看看如何构建eureka高可用服务。首先创建application-eureka1.yml和application-eureka2.yml两个配置文件，如下：

application-eureka1.yml内容如下：

eureka:
  client:
    service-url:
      defaultZone: http://eureka2:8762/eureka/
    register-with-eureka: false
  server:
    enable-self-preservation: false
spring:
  application:
    name: eureka
server:
  port: 8761

application-eureka2.yml内容如下：

eureka:
  client:
    service-url:
      defaultZone: http://eureka1:8761/eureka/
    register-with-eureka: false
  server:
    enable-self-preservation: false
spring:
  application:
    name: eureka
server:
  port: 8762

application.yml文件内容如下，默认选择eureka1：

spring:
  profiles:
    active: eureka1

然后push这些改动到远程的git仓库上，然后到服务器上拉取代码并重新build镜像：

[[email protected] ~]# cd /tmp/eureka/
[[email protected] /tmp/eureka]# git pull origin master
...
[[email protected] /tmp/eureka]# sh ./build_eureka.sh
[[email protected] /tmp/eureka]#

镜像制作完成并推送到仓库上后，到rancher上删除之前的eureka，然后部署eureka1：

接着部署eureka2：

相对的，config也需要修改一下配置文件，需要增加eureka节点，如下：

eureka:
  client:
    service-url:
      defaultZone: http://192.168.190.130:8761/eureka/,http://192.168.190.130:8762/eureka/
  instance:
    prefer-ip-address: true

修改完之后，也需要重新build，重新部署一下：

至于config的高可用这里就不演示了，因为config也属于一个服务，只需要部署多个config注册到eureka上就可以实现高可用了

构建product服务

这一小节我们来部署product服务，首先需要修改配置文件，将mysql、rabbitmq的地址都改为线上容器能够连接的地址，注意，必须是确认是能够连接到的地址，否则product服务是启动不了的。修改bootstrap.yml文件内容如下：

spring:
  cloud:
    config:
      discovery:
        enabled: true
        service-id: CONFIG
      profile: dev
  application:
    name: product
eureka:
  client:
    service-url:
      defaultZone: http://eureka1:8761/eureka/,http://eureka2:8762/eureka/
  instance:
    prefer-ip-address: true

修改远程git仓库上的product-dev.yml文件内容如下：

spring:
  application:
    name: product
  datasource:
    driver-class-name: com.mysql.jdbc.Driver
    username: root
    password: password
    url: jdbc:mysql://192.168.190.129:3306/springcloud_sell?characterEncoding=utf-8&useSSL=false
  jpa:
    show-sql: true
  rabbitmq:
    host: 127.0.0.1
    port: 5672
    username: username
    password: password

与之前的过程类似，在product项目的根目录中，创建一个Dockerfile文件，编辑文件内容如下：

FROM hub.c.163.com/library/java:8-alpine

MAINTAINER zeroJun [email protected]

ADD sell_product-server/target/*.jar app.jar

EXPOSE 8080

ENTRYPOINT ["java", "-jar", "/app.jar"]

然后将代码push到git仓库上，到服务器上，拉取代码并编写shell脚本build 及上传docker镜像：

[[email protected] ~]# cd /tmp
[[email protected] /tmp]# git clone [email protected]:Zero-One/product.git
...
[[email protected] /tmp]# cd product/
# 因为order服务需要用到product服务里的client模块所以需要安装一下
[[email protected] /tmp/product]# mvn clean package -Dmaven.test.skip=true install
[[email protected] /tmp/product]# vim build_product.sh
#!/bin/bash
mvn clean package -Dmaven.test.skip=true
docker build -t hub.c.163.com/zerojun/product .
docker push hub.c.163.com/zerojun/product
[[email protected] /tmp/product]# sh ./build_product.sh
...
[[email protected] /tmp/product]#

镜像推送完成后，记得需要将访问权限设置为公开的，如下：

镜像准备好后，到rancher上，部署服务：

如果你的product服务，需要通过域名访问外网服务的话，记得进入容器中手动配置一下DNS解析地址：

# vi /etc/network/resolv.conf
nameserver 218.2.135.1
nameserver 202.102.24.35

或设置容器的网络：

部署成功：

通过浏览器测试接口成功：

构建order服务

构建完product服务后，这一小节我们来部署order服务，首先需要修改配置文件，将mysql、rabbitmq、zipkin的地址都改为线上容器能够连接的地址，注意，必须是确认是能够连接到的地址，否则order服务是启动不了的。修改bootstrap.yml文件内容如下：

spring:
  cloud:
    config:
      discovery:
        enabled: true
        service-id: CONFIG
      profile: dev
  application:
    name: order
eureka:
  client:
    service-url:
      defaultZone: http://eureka1:8761/eureka/,http://eureka2:8762/eureka/
  instance:
    prefer-ip-address: true

修改远程git仓库上的product-dev.yml文件内容如下：

spring:
  application:
    name: order
  datasource:
    driver-class-name: com.mysql.jdbc.Driver
    username: root
    password: password
    url: jdbc:mysql://192.168.190.130:3306/springcloud_sell?characterEncoding=utf-8&useSSL=false
  jpa:
    show-sql: true
  rabbitmq:
    host: 127.0.0.1
    port: 5672
    username: username
    password: password
  redis:
    port: 6379
    host: 127.0.0.1
    stream:
      bindings:
        myMessageOutput:
          group: order
          content-type: application/json
  zipkin:
    base-url: http://127.0.0.1:9411/
    sender:
      type: web
  sleuth:
    sampler:
      probability: 1

hystrix:
  command:
    default:
      execution:
        isolation:
          thread:
            timeoutInMilliseconds: 6000
      circuitBreaker:
        enabled: true
        requestVolumeThreshold: 10
        sleepWindowInMilliseconds: 10000
        errorThresholdPercentage: 60

feign:
  client:
    config:
      default:
        connectTimeout: 5000
        readTimeout: 5000
        loggerLevel: basic
  hystrix:
    enabled: true

logging:
  level:
    org.springframework.cloud.openfeign: debug

env:
  dev

在order项目的根目录中，创建一个Dockerfile文件，编辑文件内容如下：

FROM hub.c.163.com/library/java:8-alpine

MAINTAINER zeroJun [email protected]

ADD sell_order-server/target/*.jar app.jar

EXPOSE 8080

ENTRYPOINT ["java", "-jar", "/app.jar"]

然后将代码push到git仓库上，到服务器上，拉取代码并编写shell脚本build 及上传docker镜像：

[[email protected] ~]# cd /tmp/
[[email protected] /tmp]# git clone [email protected]:Zero-One/order.git
...
[[email protected] /tmp]# cd order/
[[email protected] /tmp/order]# vim build_order.sh
#!/bin/bash
mvn clean package -Dmaven.test.skip=true
docker build -t hub.c.163.com/zerojun/order .
docker push hub.c.163.com/zerojun/order
[[email protected] /tmp/order]# sh ./build_product.sh
...
[[email protected] /tmp/order]#

镜像推送完成后，记得需要将访问权限设置为公开的，如下：

镜像准备好后，到rancher上，部署order服务：

部署成功：

通过postman测试接口成功：

构建api-gateway

构建完order服务后，最后我们来部署api-gateway服务，首先需要修改配置文件，将redis、rabbitmq的地址都改为线上容器能够连接的地址，注意，必须是确认是能够连接到的地址，否则api-gateway服务是启动不了的。修改bootstrap.yml文件内容如下：

spring:
  cloud:
    config:
      discovery:
        enabled: true
        service-id: CONFIG
      profile: dev
  application:
    name: api-gateway
eureka:
  client:
    service-url:
      defaultZone: http://eureka1:8761/eureka/,http://eureka2:8762/eureka/
  instance:
    prefer-ip-address: true

修改远程git仓库上的api-gateway-dev.yml文件内容如下：

spring:
  application:
    name: api-gateway
  redis:
    port: 6379
    host: 127.0.0.1
  rabbitmq:
    host: 127.0.0.1
    port: 5672
    username: username
    password: password
zuul:
  # 全局忽略敏感头
  sensitive-headers:
  host:
    connect-timeout-millis: 10000
    socket-timeout-millis: 60000
  routes:
    yourProduct:
      path: /myProduct/**
      serviceId: product
  ignored-patterns:
    - /**/buyer/product/listForOrder

ribbon:
  ReadTimeout: 30000
  SocketTimeout: 30000
hystrix:
  command:
    default:
      execution:
        isolation:
          thread:
            timeoutInMilliseconds: 62000

在api-gateway项目的根目录中，创建一个Dockerfile文件，编辑文件内容如下：

FROM hub.c.163.com/library/java:8-alpine

MAINTAINER zeroJun [email protected]

ADD target/*.jar app.jar

EXPOSE 8080

ENTRYPOINT ["java", "-jar", "/app.jar"]

[[email protected] ~]# cd /tmp/
[[email protected] /tmp]# git clone [email protected]:Zero-One/api-gateway.git
...
[[email protected] /tmp]# cd api-gateway/
[[email protected] /tmp/api-gateway]# vim build_aip-gateway.sh
#!/bin/bash
mvn clean package -Dmaven.test.skip=true
docker build -t hub.c.163.com/zerojun/api-gateway .
docker push hub.c.163.com/zerojun/api-gateway
[[email protected] /tmp/api-gateway]# sh ./build_aip-gateway.sh
...
[[email protected] /tmp/api-gateway]#

镜像推送完成后，记得需要将访问权限设置为公开的，如下：