kubernetes v1.14.3 HA集群安装
目录结构
-
集群规划
主机名 ip 角色 组件 master1-3 192.168.14.138-140 master+etcd etcd kube-apiserver kube-controller-manager kubectl kubeadm kubelet kube-proxy flannel worker1 192.168.14.141 node kubectl kubeadm kubelet kube-proxy flannel vip 192.168.14.142 实现apiserver的高可用 - 组件版本
组件 版本 centos 7.3.1611 kernel 3.10.0-957.el7.x86_64 kubeadm v1.14.3 kubelet v1.14.3 kubectl v1.14.3 kube-proxy v1.14.3 flannel v0.11.0 etcd 3.3.10 docker 18.09.5 kubernetes-dashboard v1.10.1 keepalived 1.3.5 haproxy 1.5.18 - 高可用架构说明
kubernetes架构概念
kube-apiserver：集群核心，集群API接口、集群各个组件通信的中枢；集群安全控制；
etcd：集群的数据中心，用于存放集群的配置以及状态信息，通过RAFT同步信息。
kube-scheduler：集群Pod的调度中心；默认kubeadm安装情况下–leader-elect参数已经设置为true，保证master集群中只有一个kube-scheduler处于活跃状态；
kube-controller-manager：集群状态管理器，当集群状态与期望不同时，kcm会努力让集群恢复期望状态，比如：当一个pod死掉，kcm会努力新建一个pod来恢复对应replicas set期望的状态；默认kubeadm安装情况下–leader-elect参数已经设置为true，保证master集群中只有一个kube-controller-manager处于活跃状态；
kubelet: kubernetes node上的 agent，负责与node上的docker engine打交道；
kube-proxy: 每个node上一个，负责service vip到endpoint pod的流量转发，原理是通过设置iptables规则实现负载均衡说明
haproxy： 主要用于apiserver负载均衡
keepalived： 主要用于apiserver高可用。haproxy+keepalived主要功能就是实现高可用状态的负载均衡。首先通过keepalived生成一个虚地址VIP（主机点宕机后漂移到其他机器，VIP在哪台机器上，就和本地ip地址一样，都代表本机，共用同网卡，共用本地服务service，本地接口socket），然后当访问VIP:PORT再通过haproxy负载至后端的实际端口RIP:6443，即真正的apiserver服务. - 准备工作
1、安装docker
? 参考
2、修改内核参数
cat <<EOF > /etc/sysctl.d/k8s.conf net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 net.ipv4.ip_forward=1 EOF sysctl --system3、关闭Swap
4、开启ipvs
5、禁用selinux，关闭防火墙
关闭selinux setenforce 0 sed -i ‘s/SELINUX=permissive/SELINUX=disabled/‘ /etc/sysconfig/selinux 关闭防火墙 systemctl stop firewall.service systemctl disable firewall.service6、开启免密，检查网络，dns，hosts，ntp是否正常
开启免密 [master1]ssh-kengen [master1]ssh-copy-id [email protected] 编辑hosts vim /etc/hosts 开启ntp同步 systemctl start ntpd.service systemctl enable ntpd.service - 安装步骤
一、安装haproxy和keepalived来创建一个负载均衡器。
1、安装haproxy
分发安装haproxy（所有master节点） for i in master1 master2 master3; do ssh [email protected]$i "yum install haproxy ";done 配置haproxy文件（所有master节点） cat <EOF > /etc/haproxy/haproxy.cfg global log 127.0.0.1 local2 chroot /var/lib/haproxy pidfile /var/run/haproxy.pid maxconn 4000 user haproxy group haproxy daemon defaults mode tcp log global retries 3 timeout connect 10s timeout client 1m timeout server 1m frontend kubernetes bind *:8443 #配置端口为8443 mode tcp default_backend kubernetes-master backend kubernetes-master #后端服务器，也就是说访问192.168.255.140:8443会将请求转发到后端的三台，这样就实现了负载均衡 balance roundrobin server master1 192.168.14.138:6443 check maxconn 2000 server master2 192.168.14.139:6443 check maxconn 2000 server master3 192.168.14.140:6443 check maxconn 2000 EOF 分发配置文件 for i in master1 master2 master3; do scp /etc/haproxy/haproxy.cfg [email protected]$i:/etc/haproxy/haproxy.cfg;done 重启服务器 systemctl daemon-reload && systemctl restart haproxy && systemctl haproxy2、安装keepalived
分发安装haproxy（所有master节点） for i in master1 master2 master3; do ssh [email protected]$i "yum install keepalived ";done 配置keepalived文件（所有master节点） cat <EOF > /etc/keepalived/keepalived.conf global_defs { notification_email { [email protected] [email protected] [email protected] } notification_email_from [email protected] #表示发送通知邮件时邮件源地址是谁 smtp_server 192.168.200.1 #表示发送email时使用的smtp服务器地址 smtp_connect_timeout 30 #连接smtp连接超时时间 router_id LVS_docker1 #主机标识 vrrp_skip_check_adv_addr vrrp_strict vrrp_garp_interval 0 vrrp_gna_interval 0 } vrrp_instance VI_1 { state MASTER #备服务器上改为BACKUP interface ens160 #改为自己的接口 virtual_router_id 51 # VRID 不可更改 priority 100 #备服务器上改为小于100的数字，90,80 advert_int 1 authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 192.168.14.142 #虚拟vip，自己设定 } } EOF keepalived配置不太一样，要求修改后分发。 重启服务器 systemctl daemon-reload && systemctl restart keepalived && systemctl keepalived3、验证keepalived是否正常工作。
登录主节点 ip a二、安装 kubeadm, kubelet 和 kubectl
1、添加国内yum源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetes baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=0 repo_gpgcheck=0 gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF2、指定版本安装
更新仓库 yum makecache fast 查找相应版本软件 yum search --showduplicates kubeadm3、在所有安装kubelet的节点上，将kubelet设置为开机启动
yum install -y kubectl-1.14.3 kubeadm-1.14.3 kubelet-1.14.3 systemctl daemon-reload && systemctl restart kubelet && systemctl kubelet四、提前下载所有需要用到的镜像（谷歌镜像，通过代理下载）
1、查看需要下载的镜像
kubeadm config images list2、通过代理转换镜像(命令行直接输入)（所有节点）
for i in kube-apiserver:v1.14.3 kube-controller-manager:v1.14.3 kube-scheduler:v1.14.3 kube-proxy:v1.14.3 pause:3.1 etcd:3.3.10 coredns:1.3.1 ;do docker pull gcr.akscn.io/google_containers/$i ;docker tag gcr.akscn.io/google_containers/$i k8s.gcr.io/$i; done五、初始化master
1、初始化master，所有master算作控制平面节点
1） 在master1编写集群的的初始化配置文件
? 集群版本是v1.14.3
? 指定集群的api端口和地址
? 使用flannel，指定pod端口范围"10.244.0.0/16"
cat <EOF > kubeadm-config.yaml apiVersion: kubeadm.k8s.io/v1beta1 kind: ClusterConfiguration kubernetesVersion: v1.14.3 controlPlaneEndpoint: "192.168.14.142:8443" networking: podSubnet: "10.244.0.0/16" EOF2） 执行初始化
kubeadm init --pod-network-cidr=10.244.0.0/16 --config=kubeadm-config.yaml --experimental-upload-certs3） 初始化完成后的主要提示如下
其他的master节点加入控制平面的命令 kubeadm join 192.168.14.142:8443 --token g9up4e.wr2zvn1y0ld2u9c8 --discovery-token-ca-cert-hash sha256:d065d5c2bfce0f5e0f784ed18cb0989dd19542721969c12888f04496b03f121c --experimental-control-plane --certificate-key ddad01f830084f0dd4a9f89e914020cf1001aa31f4550cf5fccce9bad2d6d599 node节点加入node的命令 kubeadm join 192.168.14.131:6443 --token xl9aa5.2lxz30aupuf9lbhh --discovery-token-ca-cert-hash sha256:0fa135166d86ad9e654f7b92074b34a42a5a25152c05e9253df62af8541c7bad 配置kubeconfig的命令提示 mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config4）配置kubectl，主要是配置访问apiserver 的权限
4）kubectl命令补选
echo "source <(kubectl completion bash)" > ~/.bashrc
source ~/.bashrc
2、初始化其他master
其他的master节点加入控制平面的命令 kubeadm join 192.168.14.142:8443 --token g9up4e.wr2zvn1y0ld2u9c8 --discovery-token-ca-cert-hash sha256:d065d5c2bfce0f5e0f784ed18cb0989dd19542721969c12888f04496b03f121c --experimental-control-plane --certificate-key3、检查三台master是否初始化成功
kubectl get nodes六、 将worker节点加入集群
kubeadm join 192.168.14.131:6443 --token xl9aa5.2lxz30aupuf9lbhh --discovery-token-ca-cert-hash sha256:0fa135166d86ad9e654f7b92074b34a42a5a25152c05e9253df62af8541c7bad七、安装网络插件Flannel(主节点运行即可)
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/62e44c867a2846fefb68bd5f178daf4da3095ccb/Documentation/kube-flannel.yml八、查看集群状态
kubectl get nodes master1 Ready master 4h41m v1.14.3 master2 Ready <none> 4h36m v1.14.3 master3 Ready master 4h50m v1.14.3 worker1 Ready master 4h39m v1.14.3
后续继续补充，mark！
原文地址：https://blog.51cto.com/9406836/2408100