K8S集群使用Ingress实现网站入口动静分离实践

今年3月份在公司的内部k8s培训会上，和研发同事详细探讨了应用部署容器化部署的几个问题，问题简要如下：

1、java应用容器化部署
首先通过自动化部署工具编译出全量的war包，将war包直接编译到docker镜像后推送到私用仓库并版本化控制；其次通过更新deployment的yaml文件来实现部署和后续的滚动更新，应用程序需要进行容器化改造。

这里的难点和工作量在于容器的镜像制作以及版本化管理，之后准备采用harbor做企业私有仓库。

2、dashborad面板的权限控制
解决方案参考：http://blog.51cto.com/ylw6006/2113542

3、应用程序日志的如何收集
解决方案参考：http://blog.51cto.com/ylw6006/2107307

4、网站动静分离
首先所有的动态应用通过部署tomcat pod的方式来响应，静态的资源统一部署一个nginx pod方式来响应；
其次，动静分离的规则配置交给traefik ingress实现；
最后，静态资源的文件统一存放在pv上，更新静态资源不需要去编译docker镜像.

一、动静分离举例说明

以内网测试环境2的虚拟主机站点配置（底层服务）为例：
域名test2.oprman.com（PS：研发大爷喜欢自己YY域名）的静态资源配置如下
1、/ ——> 对应/usr/local/6.0_files/oprman_test2目录
2、/mfs ——> 对应/mnt/mfs目录(这个实际上是一个分布式文件系统的挂载点)

域名test2.oprman.com的动态资源配置如下
1、/web ——> 后端tomcat进行相应
2、/api ——> 后端tomcat进行相应


后端的tomcat配置信息

以内网测试环境2的虚拟主机站点配置（平台服务）为例：
域名resourcesharing.test2.59iedu.com的静态资源配置如下
1、/ ——> 对应/data/static_files/test2/zygxpt/portal目录
2、/mfs ——> 对应/mnt/mfs目录(这个实际上是一个分布式文件系统的挂载点)
3、/admin ——> 对应/data/static_files/test2/zygxpt/admin目录
4、/login ——> 对应/data/static_files/test2/zygxpt/login目录
5、/play ——> 对应/data/static_files/test2/zygxpt/play目录

域名test2.oprman.com的动态资源配置如下
1、/web ——> 后端tomcat进行相应



后端的tomcat配置信息

这里补充说明一下，内网存在三套环境
1、开发环境： 主要用于开发人员开发、调试
2、测试环境1：用于测试人员验证
3、测试环境2：用于开发人员自测与验证

从网站的类型上可以分为底层服务和平台服务两种类型，大部分的底层服务是通过dobbo进行内部调用的，容器化之后只要POD之间的网络可以互联互通即可相互调用，少部分底层服务需要对外暴露http端口。平台服务都需要对外暴露http端口。

动静分离的nginx规则也主要是上述两类，其中以平台服务的数量居多，底层服务有动静分离规则的较少。

二、部署traefik 入口

traefik具体的部署方法可参考前文，前文传送门：http://blog.51cto.com/ylw6006/2073718

# kubectl get svc,pod,ingress -n kube-system



三、创建处理动态的应用

1、build动态部分的镜像并推送至私有仓库

# cat dockerfile
FROM registry.59iedu.com/tomcat_base:v1.0
MAINTAINER yangliangwei "[email protected]"
COPY ROOT-20180509.tgz /home/
RUN tar zxf /home/ROOT-20180509.tgz -C /home/tomcat/webapps/ && rm -rf /home/ROOT-20180509.tgz
# docker build -t oprman-test2:v1 .

# docker tag oprman-test2:v1 registry.59iedu.com/oprman-test2:v1
# docker push registry.59iedu.com/oprman-test2:v1


2、通过yaml文件创建动态应用

# cat configmap.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: filebeat-oprman-test2-config
data:
  filebeat.yml: |
    filebeat.prospectors:
    - input_type: log
      paths:
        - "/log/*"
    output.elasticsearch:
      hosts: ["192.168.1.19:9600"]
      index: "filebeat-oprman-test2"

# kubectl create -f configmap.yaml 
# cat oprman-test2-tomcat-dp.yaml
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: oprman-test2-tomcat
  namespace: default
spec:
  replicas: 1
  template:
    metadata:
      labels:
        name: oprman-test2-tomcat
    spec:
      containers:
      - image: registry.59iedu.com/filebeat:v5.4.0
        imagePullPolicy: Always
        name: filebeat
        volumeMounts:
        - name: app-logs
          mountPath: /log
        - name: filebeat-oprman-test2-config
          mountPath: /etc/filebeat/
      - image: registry.59iedu.com/oprman-test2:v1
        name : oprman-test2-tomcat
        imagePullPolicy: Always
        env:
        - name: JAVA_OPTS
          value: "-Xmx2048m -Xms512m"
        ports:
        - containerPort: 8080
        volumeMounts:
        - name: app-logs
          mountPath: /home/tomcat/logs
      volumes:
      - name: app-logs
        emptyDir: {}
      - name: filebeat-oprman-test2-config
        configMap:
          name: filebeat-oprman-test2-config

# kubectl create -f  oprman-test2-tomcat-dp.yaml  
# cat oprman-test2-tomcat-svc.yaml
apiVersion: v1
kind: Service
metadata:
  name: oprman-test2-tomcat
  labels:
    name: oprman-test2-tomcat
spec:
  ports:
  - port: 8080
    protocol: TCP
    targetPort: 8080
    name: http
  selector:
name: oprman-test2-tomcat

# kubectl create -f oprman-test2-tomcat-svc.yaml


演示仅部署底层服务的后端tomcat处理动态请求，平台的后端tomcat部署办法一样，出于文章篇幅考虑就不在赘述。

三、创建处理静态部分的应用
1、我们采用configmap的方式来处理静态部分的请求路由，动态部分的请求路由将交给
Ingress来实现。nginx配置文件针对平台部分的配置因为路径都一样，所以域名采用$host进行通配，底层的需要单独配置。（好在底层服务需要暴露http的并不多）

# cat nginx.conf
user nginx;
worker_processes auto;
error_log /usr/share/nginx/html/nginx-error.log;
pid /run/nginx.pid;

# Load dynamic modules. See /usr/share/nginx/README.dynamic.
include /usr/share/nginx/modules/*.conf;

events {
    worker_connections 102400;
    use epoll;
}

http {
    log_format  main  ‘$remote_addr - $remote_user [$time_local] "$request" ‘
                      ‘$status $body_bytes_sent "$http_referer" ‘
                      ‘"$http_user_agent" "$http_x_forwarded_for"‘;
    server_tokens     off;
    access_log        /usr/share/nginx/html/nginx-default-access.log  main;

    sendfile            on;
    tcp_nopush          on;
    tcp_nodelay         on;
    keepalive_timeout   65;
    types_hash_max_size 2048;

    include             /etc/nginx/mime.types;
    default_type        application/octet-stream;

    include /etc/nginx/conf.d/*.conf;
    include /etc/nginx/conf/extra/*.conf;

server {
        listen       80 default_server;
        index  index.html index.htm;
        access_log /usr/share/nginx/html/logs/test2-static-access.log main;
        location / {
        root /usr/share/nginx/html/$host/portal;
        index  index.html index.htm;
        }
        location /admin{
        root /usr/share/nginx/html/$host;
        index  index.html index.htm;
        }
        location /login {
        root /usr/share/nginx/html/$host;
        index  index.html index.htm;
        }
        location /play {
        root /usr/share/nginx/html/$host;
        index  index.html index.htm;
        }
        location /mfs {
        root /mnt/mfs;
        }
   }

server {
        listen       80;
        server_name  test2.oprman.com;
        index  index.html index.htm;
        access_log /usr/share/nginx/html/logs/test2-static-access.log main;
        location / {
        root /usr/share/nginx/html/test2.oprman.com;
        index  index.html index.htm;
        }
        location /mfs {
        root /mnt/mfs;
        }
     }
}

# kubectl create configmap test2-static-etc --from-file nginx.conf

2、创建pv、pvc

# cat test2-static-data-pv-pvc.yaml
apiVersion: v1
kind: PersistentVolume
metadata:
  name: test2-static-data
spec:
  capacity:
    storage: 100Gi
  accessModes:
  - ReadWriteMany
  nfs:
    path: /home/test2-static-data
    server: 192.168.115.5
  persistentVolumeReclaimPolicy: Recycle
---
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: test2-static-data
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 100Gi

# kubectl create -f test2-static-data-pv-pvc.yaml

3、创建deployment

# cat test2-static-deployment.yaml
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: test2-static
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: test2-static
  labels:
    name: test2-static
spec:
  replicas: 2
  template:
    metadata:
      labels:
       name: test2-static
    spec:
      containers:
       - name: test2-static
         image: registry.59iedu.com/nginx:latest
         volumeMounts:
          - mountPath: /usr/share/nginx/html
            name: test2-static-data
          - mountPath: /etc/nginx/nginx.conf
            subPath: nginx.conf
            name: test2-static-etc
         ports:
          - containerPort: 80
      volumes:
         - name: test2-static-data
           persistentVolumeClaim:
            claimName: test2-static-data
         - name: test2-static-etc
           configMap:
             name: test2-static-etc
             items:
             - key: nginx.conf
               path: nginx.conf 

# kubectl create -f test2-static-deployment.yaml

四、创建统一入口ingress

# cat test2-ingress.yaml
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: traefik-oprman-test2
  namespace: default
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: /
spec:
  rules:
  - host: resourcesharing.test2.59iedu.com
    http:
      paths:
      - path: /
        backend:
          serviceName: test2-static
          servicePort: 80
  - host: test2.oprman.com
    http:
      paths:
      - path: /
        backend:
          serviceName: test2-static
          servicePort: 80
      - path: /web
        backend:
          serviceName: oprman-test2-tomcat
          servicePort: 8080
      - path: /api
        backend:
          serviceName: oprman-test2-tomcat
          servicePort: 8080

# kubectl create -f test2-ingress.yaml


五、访问测试
1、修改host解析

2、底层服务后端tomcat访问测试

3、平台前端访问测试

4、平台后台入口访问测试（前面的nginx配置/admin部分，实际未静态的内容，输入用户名和密码之后才开始请求到后端的tomcat）

这里要重点说明一下，把分布式文件系统挂载到nginx主机上并发布出去给用户访问，实际上是非常不可取的一种方式，当nginx和mfs master主机之间的网络连接出现问题的时候，会导致nginx请求被堵塞，80、443等端口连接不顺畅，极度影响用户体验，这个后续需要合力改进！

原文地址：http://blog.51cto.com/ylw6006/2117044

时间： 2024-08-01 08:17:30

K8S集群使用Ingress实现网站入口动静分离实践的相关文章

实践出真知——一文教你搭建Nginx+Tomcat集群，实现负载均衡及动静分离

实践出真知--一文教你搭建Nginx+Tomcat集群,实现负载均衡及动静分离 前言 ? 想必大家对于Nginx和Tomcat都非常熟悉了,Nginx的应用非常广泛,不仅是对web静态资源非常友好,而且也是非常实用的反向代理和负载均衡软件.结合后端Tomcat的服务,从而搭建Nginx+Tomcat集群. ? 对于直接想要实践的朋友而言可以获取本文的链接中的软件包后直接看第三备份的内容. 一.集群搭建结构及拓扑 1.1集群架构图示 Nginx+Tomcat集群的结构示意图如下: 1.2系统环境与

同一k8s集群中多nginx ingress controller

同一k8s集群中多nginx ingress controller同一k8s集群中,若有多个项目(对应多个namespace)共用一个nginx ingress controller,因此任意注册到ingress的服务有变更都会导致controller配置重载,当更新频率越来越高时,此controller压力会越来越大,理想的解决方案就是每个namespace对应一个nginx ingress controller,各司其职. NGINX ingress controller提供了ingress

k8s集群架构和概念简述

k8s集群一般由master节点.node节点.etcd数据库.独立存储组成.生产环境总,master节台至少有3台,etcd可以安装在单独的服务器上,也可以安装在master节点上.etcd是保存集群状态的数据库. k8s调度的最小逻辑单元是pod,而pod由一个或多个业务容器和一个根容器(Pause 容器)组成,主要有4类pod:1.kube-system空间内的系统pod2.在master上手动创建的pod3.在master上由各控制器自动创建的pod4.在node上手动创建的不受mast

使用kubeadm部署k8s集群08-配置LB指向kube-apiserver

使用kubeadm部署k8s集群08-配置LB指向kube-apiserver 2018/1/4 配置 LB 指向 kube-apiserver 小目标:在 3 个 master 节点前,还需配置一个 LB 来作为 apiserver 的入口 LB -> master x3 直接使用阿里云内网 SLB L4 proxy 资源(本次实例是 4 层而不使用 7 层的原因是:跳过了处理证书的环节) 申请下来资源后,将得到一个 vip 指向上述 3 个 master 节点的 IP 作为后端真实服务器 注

使用kubeadm部署k8s集群09-配置worker节点

使用kubeadm部署k8s集群09-配置worker节点 2018/1/4 配置 worker 节点 初始化 加入集群 切换 worker 节点连接到 apiserver 的 LB 入口 调整集群中节点角色和调度策略 初始化 /etc/hosts ### k8s master @envDev 10.10.9.67 tvm-00 10.10.9.68 tvm-01 10.10.9.69 tvm-02 k8s worker @envDev 10.10.9.74 tvm-0310.10.9.75 t

kubernetes集群traefik ingress实现同一命名空间不同微服务模块的访问

背景:kubernetes集群traefik ingress实现同一命名空间不同微服务模块的访问1.安装traefik ingresscat > traefik-ingress.yaml <<EOF kind: ClusterRoleapiVersion: rbac.authorization.k8s.io/v1metadata:name: traefik-ingress-controllerrules: apiGroups: ""resources: pods se

k8s集群Canal的网络控制 原

1 简介 直接上干货 public class DispatcherServlet extends HttpServlet { private Properties contextConfigProperties = new Properties(); private List<String> classNames = new ArrayList<>(); private Map<String, Object> ioc = new HashMap<String,

kubernetes系列03—kubeadm安装部署K8S集群

1.kubernetes安装介绍 1.1 K8S架构图 1.2 K8S搭建安装示意图 1.3 安装kubernetes方法 1.3.1 方法1:使用kubeadm 安装kubernetes(本文演示的就是此方法) 优点:你只要安装kubeadm即可:kubeadm会帮你自动部署安装K8S集群:如:初始化K8S集群.配置各个插件的证书认证.部署集群网络等.安装简易. 缺点:不是自己一步一步安装,可能对K8S的理解不会那么深:并且有那一部分有问题,自己不好修正. 1.3.2 方法2:二进制安装部署k

k8s集群搭建

k8s简介 kubernetes,简称K8s,是用8代替8个字符“ubernete”而成的缩写.是一个开源的,用于管理云平台中多个主机上的容器化的应用,Kubernetes的目标是让部署容器化的应用简单并且高效(powerful),Kubernetes提供了应用部署,规划,更新,维护的一种机制 k8s的资源对象 master kubernetes里的master指的是集群控制节点,在每个kubernetes集群里都需要有一个master来负责真个集群的管理和控制,在master上运行着以下关键进