对docker和kubernetes都不熟悉,搜了很多指导,在kubernetes集群中安装dashboard的时候总是会遇到各种问题,花了两天时间试了很多方法,终于安装成功,主体步骤来自https://blog.csdn.net/chenyufeng1991/article/details/79251498,补全安装过程中遇到的问题及解决方法。
实验环境:
1.OS:Centos7.5
每个操作系统设置一个主机IP
2.使用的软件包
master:docker/kubernetes-master/etcd/flannel
nodes:docker/kubernetes-node/flannel
3.软件包说明
kubernetes-master:Kubernetes服务端
kubernetes-node:Kubernetes客户端
etcd:服务发现的键值存储(可以理解为中间件,flannel服务通过它记录分配给各pod的地址段,每次分配前会在etcd中查询,从而不会重复分配)
flannel:打通多台服务器上的docker容器之间的网路互通
前提条件:
1.master和node修改SELINUX配置文件,SELINUX=disabled,重启操作系统
2.master和node执行systemctl stop firewalld和systemctl disable firewalld关闭防火墙,有安全需求的,可以根据需要启动防火墙,放开相应端口
3.master和node修改主机名,可以使用hostnamectl命令直接修改,也可以修改/etc/hostname文件,将主机名与IP地址对应关系写入/etc/hosts文件
4.开启路由转发功能,在master和node的/etc/sysctl.conf中添加net.ipv4.ip_forward = 1 执行sysctl -p执行该文件
安装步骤:
1.master安装配置
yum install -y kubernetes-master etcd flannel docker
此处如果有低版本kubectl等工具会报错,使用rpm -e卸载所有依赖,再次执行此命令即可
etcd安装完成后配置
vi /etc/etcd/etcd.conf
ETCD_LISTEN_CLIENT_URLS="http://localhost:2379" ###此处localhost修改为0.0.0.0
ETCD_ADVERTISE_CLIENT_URLS="http://localhost:2379" ###此处localhost修改为主机IP地址,如果多个etcd构成集群,直接在后面加url
完成以后配置后,启动etcd,加入自启动
systemctl start etcd
systemctl enable etcd
配置Kubernetes,进入/etc/kubernetes目录:
vi apiserver
KUBE_API_ADDRESS="--insecure-bind-address=0.0.0.0" ###apiserver服务绑定的地址(个人理解为apiserver监听地址)
KUBE_ETCD_SERVERS="--etcd-servers=http://192.168.149.134:2379" ###url里面的IP地址修改为etcd配置文件中设置的主机IP地址
KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=172.17.0.0/16" ###Kubernetes可以分配的IP范围,Kubernetes启动的每一个pod以及service都会分配一个IP地址,将会从这个范围分配。是Services管理的集群IP地址范围。后面etcd设置存储地址段的目录时,要与该地址段保持一致。
KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ResourceQuota" ###是因为安装kubernetes而修改的配置
vi config
KUBE_MASTER="--master=http://192.168.149.134:8080" ###此处url中的IP地址修改为master主机IP地址
2.node配置
yum install -y kubernetes-node flannel docker
配置kubernetes,进入/etc/kubernetes目录:
vi config
KUBE_MASTER="--master=http://192.168.149.134:8080" ###此处url中的IP地址修改为master主机IP地址
vi kubelet
KUBELET_ADDRESS="--address=0.0.0.0" ###kubelet启动后绑定的地址
KUBELET_HOSTNAME="--hostname-override=node" ###此处为master执行get nodes时显示的名称,填可以解析的主机名或者IP地址,不能随意起
KUBELET_API_SERVER="--api-servers=http://192.168.149.134:8080" ###此处IP地址为master的主机IP地址
3.配置flannel,master及node节点上flannel的配置都要一样
master及node节点,进入/etc/sysconfig目录
vi flanneld
FLANNEL_ETCD_ENDPOINTS="http://http://192.168.149.134:2379" ###此处IP地址为etcd配置文件中设置的主机IP地址
FLANNEL_ETCD_PREFIX="/kube/network" ###下面etcd执行命令时使用该目录
然后在master节点上执行以下命令:
etcdctl mkdir /kube/network
etcdctl mk /kube/network/config ‘{"Network":"172.17.0.0/16"}‘ ###此处网段要与前面apiserver里面配置的参数一致
4.分别在master、nodes上启动docker、etcd、flanneld并加入自启动
master:
systemctl start docker etcd flanneld
systemctl enable docker etcd flanneld
node:
systemctl start docker flanneld
systemctl enable docker flanneld
5.启动服务
启动master上的k8s服务,先启动apiserver
systemctl start kube-apiserver kube-controller-manager kube-scheduler
systemctl enable kube-apiserver kube-controller-manager kube-scheduler
启动nodes上的k8s服务
systemctl start kube-proxy kubelet
systemctl enable kube-proxy kubelet
6.验证
访问http://kube-apiserver:port
http://192.168.149.134:8080/ 查看所有请求url。
http://192.168.149.134:8080/healthz/ping 查看健康状况。
在master上查看一些服务是否成功开启
获取k8s客户端
kubectl get nodes ###可以获取到node
获取k8s命名空间
kubectl get namespace ###要有kube-system
7.开始安装dashboard(坑比较多的地方)
master开始创建dashboard ui,在该步骤之前要先有kube-system命名空间
在master上拉取以下代码:wget http://docs.minunix.com/docker/kubernetes-dashboard.yaml ###wget下载不下来可以用curl -O 这个url下载下来,将里面的- --apiserver-host=http://192.168.149.134:8080 IP地址替换成自己的master主机IP地址,通过master的apiserver来访问运行在node容器中的dashboard
如果下载不下来,可以直接创建kubernetes-dashboard.yaml文件,将下面内容复制到该文件中保存即可
kind: Deployment
apiVersion: extensions/v1beta1
metadata:
labels:
app: kubernetes-dashboard
version: v1.1.1
name: kubernetes-dashboard
namespace: kube-system
spec:
replicas: 1
selector:
matchLabels:
app: kubernetes-dashboard
template:
metadata:
labels:
app: kubernetes-dashboard
spec:
containers:
- name: kubernetes-dashboard
image: daocloud.io/minunix/kubernetes-dashboard-amd64:v1.1.1
imagePullPolicy: Always
ports:
- containerPort: 9090
protocol: TCP
args:
# Uncomment the following line to manually specify Kubernetes API server Host
# If not specified, Dashboard will attempt to auto discover the API server and connect
# to it. Uncomment only if the default does not work.
- --apiserver-host=http://192.168.3.7:8080 ## 请修改为自己的kebu-apiserver
livenessProbe:
httpGet:
path: /
port: 9090
initialDelaySeconds: 30
timeoutSeconds: 30
---
kind: Service
apiVersion: v1
metadata:
labels:
app: kubernetes-dashboard
name: kubernetes-dashboard
namespace: kube-system
spec:
type: NodePort
ports:
- port: 80
targetPort: 9090
selector:
app: kubernetes-dashboard
如果要通过node的IP地址直接访问dashboard,需要在ports里面添加nodeport
最后的ports部分替换为:
spec:
type: NodePort
ports:
- port: 80
targetPort: 9090
nodePort: 30090 ###该端口自己定义,有取值范围
selector:
app: kubernetes-dashboard根据以上yaml创建pods:
kubectl create -f kubernetes-dashboard.yaml
如果报错,根据提示信息进行处理,如果修改yaml后重新执行上面命令提示已存在,可以执行以下删除命令后再执行创建命令
kubectl delete -f kubernetes-dashboard.yaml
8.查看是否创建成功:
kubectl get pods --namespace=kube-system ###--namespace是指定在哪个命名空间中的pod,不加的话在default中查找
容器status不为running说明容器状态不正常 使用kubectl describe pods kubernetes-dashboard-2496492025-rwczb --namespace=kube-system命令查看这个容器创建过程中出现的问题,kubernetes-dashboard-2496492025-rwczb是上面命令查询结果中pod的名称 根据提示信息发现是镜像拉取失败,细节是找不到文件或者文件夹,查看/etc/docker/certs.d/registry.access.redhat.com/redhat-ca.crt 是一个软链接,但是链接过去后并没有真实的/etc/rhsm,进行如下操作: 1).yum安装 yum install *rhsm* 安装完成后查看上面的软连接是否有真实的连接文件,如果有,问题解决,手动拉取镜像文件 docker pull registry.access.redhat.com/rhel7/pod-infrastructure:latest 2).如果上面的方法无法解决软连接问题,执行下面步骤 curl -O http://mirror.centos.org/centos/7/os/x86_64/Packages/python-rhsm-certificates-1.19.10-1.el7_4.x86_64.rpm 执行以下命令 rpm2cpio python-rhsm-certificates-1.19.10-1.el7_4.x86_64.rpm | cpio -iv --to-stdout ./etc/rhsm/ca/redhat-uep.pem | tee /etc/rhsm/ca/redhat-uep.pem 然后再执行docker pull registry.access.redhat.com/rhel7/pod-infrastructure:latest 手动拉取镜像 再次执行get pods命令,查看pod状态,发现status变为running,说明应用已正常运行。 9.访问dashboard 可以通过三种方式访问dashboard 1).kubernetes-dashboard 服务暴露了 NodePort,可以使用 http://NodeIP:nodePort 地址访问 dashboard;
2).通过 kube-apiserver 访问 dashboard,使用http://masterip:8080 地址访问
3).通过 kubectl proxy 访问 dashboard:10.常用日志查看命令: journalctl -xue | kubelet 根据输出解决安装的问题
kubectl describe pods <podName> -n=kube-system 查看内部pod启动错误的原因
kubectl logs -f pods <podName> -n=kube-system 查看容器内部的日志
原文地址:http://blog.51cto.com/13992834/2287015