k8s之二进制安装etcd集群

前言

kubeadm安装的集群，默认etcd是一个单机的容器化的etcd，并且k8s和etcd通信没有经过ssl加密和认证，这点是需要改造的。
所以首先我们需要先部署一个三节点的etcd集群，二进制部署，systemd守护进程，并且需要生成ca证书

ETCD集群详情

主机 IP 节点名称 etcd的名称
主机01 192.168.56.200 MM etcd1
主机02 192.168.56.201 SS01 etcd2
主机03 192.168.56.202 SS02 etcd3

master上搭建

创建相关目录

mkdir -p /data/etcd  # etcd数据目录
mkdir -p /opt/kubernetes/{bin,conf,ssl}

创建证书

创建 CA 证书和秘钥

本文档使用 CloudFlare 的 PKI 工具集 cfssl 来生成 Certificate Authority (CA) 证书和秘钥文件，CA 是自签名的证书，用来签名后续创建的其它 TLS 证书
安装工具
如果不希望将cfssl工具安装到部署主机上，可以在其他的主机上进行该步骤，生成以后将证书拷贝到部署etcd的主机上即可。本教程就是采取这种方法，在一台测试机上执行下面操作

wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
chmod +x cfssl_linux-amd64
mv cfssl_linux-amd64 /usr/local/bin/cfssl
wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
chmod +x cfssljson_linux-amd64
mv cfssljson_linux-amd64 /usr/local/bin/cfssljson
wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
chmod +x cfssl-certinfo_linux-amd64
mv cfssl-certinfo_linux-amd64 /usr/local/bin/cfssl-certinfo

生成ETCD的TLS 秘钥和证书
为了保证通信安全，客户端(如 etcdctl) 与 etcd 集群、etcd 集群之间的通信需要使用 TLS 加密，本节创建 etcd TLS 加密所需的证书和私钥。

创建CA证书

CA配置文件

cat >  ca-config.json <<EOF
{
  "signing": {
    "default": {
      "expiry": "8760h"
    },
    "profiles": {
      "kubernetes": {
        "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ],
        "expiry": "8760h"
      }
    }
  }
}
EOF

ca-config.json：可以定义多个 profiles，分别指定不同的过期时间、使用场景等参数；后续在签名证书时使用某个 profile；
signing：表示该证书可用于签名其它证书；生成的 ca.pem 证书中 CA=TRUE；
server auth：表示 client 可以用该 CA 对 server 提供的证书进行验证；
client auth：表示 server 可以用该 CA 对 client 提供的证书进行验证

CA签名请求文件

cat >  ca-csr.json <<EOF
{
  "CN": "kubernetes",
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "BeiJing",
      "L": "BeiJing",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF

"CN"：Common Name，kube-apiserver 从证书中提取该字段作为请求的用户名 (User Name)；浏览器使用该字段验证网站是否合法；
"O"：Organization，kube-apiserver 从证书中提取该字段作为请求用户所属的组 (Group)；

生成 CA 证书和私钥：

cfssl gencert -initca ca-csr.json | cfssljson -bare ca

这个会在当前目录下面生成几个配置文件
ls ca*
ca-config.json ca.csr ca-csr.json ca-key.pem ca.pem

创建etcd证书

etcd证书请求文件

cat > etcd-csr.json <<EOF
{
  "CN": "etcd",
  "hosts": [
    "127.0.0.1",
    "${NODE_IP}"
  ],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "BeiJing",
      "L": "BeiJing",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF

hosts 字段指定授权使用该证书的 etcd 节点 IP；
如：

生成 etcd 证书和私钥：

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes etcd-csr.json | cfssljson -bare etcd

ls etcd*
etcd.csr etcd-csr.json etcd-key.pem etcd.pem ca-config.json ca.csr ca-csr.json ca-key.pem ca.pem

将生成好的etcd.pem和etcd-key.pem以及ca.pem三个文件拷贝到目标主机的/opt/kubernetes/ssl/目录下。

etcd二进制文件下载安装

到 https://github.com/coreos/etcd/releases 页面下载最新版本的二进制文件：

etcd-v3.3.4-linux-amd64.tar.gz
tar xf etcd-v3.3.4-linux-amd64.tar.gz
cp etcd-v3.3.4-linux-amd64/etcd* /opt/kubernetes/bin

创建etcd.service文件

在/usr/lib/systemd/system/下面创建system unit文件，命名为etcd.service

[[email protected] etcd]# cat /usr/lib/systemd/system/etcd.service
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target
Documentation=https://github.com/coreos
[Service]
Type=notify
WorkingDirectory=/data/etcd/
EnvironmentFile=-/opt/kubernetes/conf/etcd.conf
ExecStart=/opt/kubernetes/bin/etcd   --name ${ETCD_NAME}   --cert-file=/opt/kubernetes/ssl/etcd.pem   --key-file=/opt/kubernetes/ssl/etcd-key.pem   --peer-cert-file=/opt/kubernetes/ssl/etcd.pem   --peer-key-file=/opt/kubernetes/ssl/etcd-key.pem   --trusted-ca-file=/opt/kubernetes/ssl/ca.pem   --peer-trusted-ca-file=/opt/kubernetes/ssl/ca.pem   --initial-advertise-peer-urls ${ETCD_INITIAL_ADVERTISE_PEER_URLS}   --listen-peer-urls ${ETCD_LISTEN_PEER_URLS}   --listen-client-urls ${ETCD_LISTEN_CLIENT_URLS},http://127.0.0.1:2379   --advertise-client-urls ${ETCD_ADVERTISE_CLIENT_URLS}   --initial-cluster-token ${ETCD_INITIAL_CLUSTER_TOKEN}   --initial-cluster etcd1=https://192.168.56.200:2380,etcd2=https://192.168.56.201:2380,etcd3=https://192.168.56.202:2380   --initial-cluster-state new   --data-dir=${ETCD_DATA_DIR}
Restart=on-failure
RestartSec=5
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target

指定 etcd 的工作目录和数据目录为 /var/lib/etcd，需在启动服务前创建这个目录；
为了保证通信安全，需要指定 etcd 的公私钥(cert-file和key-file)、Peers 通信的公私钥和 CA 证书(peer-cert-file、peer-key-file、peer-trusted-ca-file)、客户端的CA证书（trusted-ca-file）；
--initial-cluster-state 值为 new 时，--name 的参数值必须位于 --initial-cluster 列表中；

创建环境变量

创建配置文件conf

[[email protected] ~]# cat /opt/kubernetes/conf/etcd.conf
# [member]
ETCD_NAME=etcd1
ETCD_DATA_DIR="/data/etcd/"
ETCD_LISTEN_PEER_URLS="https://192.168.56.200:2380" # 地址修改为当前服务器地址，下面同此
ETCD_LISTEN_CLIENT_URLS="https://192.168.56.200:2379"
#[cluster]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.56.200:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.56.200:2379"

启动etcd服务

systemctl daemon-reload
systemctl enable etcd
systemctl start etcd

其他节点配置

把/opt/kubernetes下面的所有文件拷贝到其他node上就可以

拷贝完成后，修改配置文件etcd.conf中的名字etc2,etcd3

集群的查看

[[email protected] etcd]# etcdctl --ca-file=ca.pem --cert-file=etcd.pem --key-file=etcd-key.pem cluster-health
member 152709b7f8cbe7c0 is healthy: got healthy result from https://192.168.56.200:2379
member 8c78d744f172cba9 is healthy: got healthy result from https://192.168.56.202:2379
member bdc976e03235ad9b is healthy: got healthy result from https://192.168.56.201:2379

这里需要指定证书文件

原文地址：http://blog.51cto.com/sgk2011/2108542

时间： 2024-11-10 05:23:04

k8s之二进制安装etcd集群的相关文章

kubernetes 集群安装etcd集群，带证书

install etcd 准备证书 https://www.kubernetes.org.cn/3096.html 在master1需要安装CFSSL工具,这将会用来建立 TLS certificates. export CFSSL_URL="https://pkg.cfssl.org/R1.2" wget "${CFSSL_URL}/cfssl_linux-amd64" -O /usr/local/bin/cfssl wget "${CFSSL_URL}

手动安装K8s第三节：etcd集群部署

准备安装包https://github.com/coreos/etcd版本:3.2.18wget https://github.com/coreos/etcd/releases/download/v3.2.18/etcd-v3.2.18-linux-amd64.tar.gz 0.安装[[email protected] src]# tar zxf etcd-v3.2.18-linux-amd64.tar.gz[[email protected] src]# cd etcd-v3.2.18-lin

k8s部署etcd集群

1.k8s部署高可用etcd集群时遇到了一些麻烦,这个是自己其中一个etcd的配置文件 例如: [Unit] Description=Etcd Server After=network.target After=network-online.target Wants=network-online.target Documentation=https://github.com/coreos [Service] User=k8s Type=notify WorkingDirectory=/var/l

etcd 集群部署

关于etcd的介绍,我这里就不做介绍.百度一下即可,主要还是讲一下部署. 一.环境介绍 1.1 主机环境 IP地址 主机名 角色 备注 192.168.15.131 k8s-master01 k8s-master/etcd_cluster01   192.168.15.132 k8s-master02 k8s-master/etcd_cluster01   192.168.15.133 k9s-master03 k8s-master/etcd_cluster01   提示:这样命名主要是因为部署

etcd集群搭建（高可用）

一.etcd介绍: ETCD 是一个高可用的分布式键值数据库,可用于服务发现.ETCD 采用 raft 一致性算法,基于 Go 语言实现.etcd作为一个高可用键值存储系统,天生就是为集群化而设计的.由于Raft算法在做决策时需要多数节点的投票,所以etcd一般部署集群推荐奇数个节点,推荐的数量为3.5或者7个节点构成一个集群. 二.特点: 实际上,etcd作为一个受到Zookeeper与doozer启发而催生的项目,除了拥有与之类似的功能外,更具有以下4个特点{![引自Docker官方文档]}

Kubernetes（K8s）安装部署过程（三）--创建高可用etcd集群

这里的etcd集群复用我们测试的3个节点,3个node都要安装并启动,注意修改配置文件 1.TLS认证文件分发:etcd集群认证用,除了本机有,分发到其他node节点 scp ca.pem kubernetes-key.pem kubernetes.pem [email protected]10.10.90.106:/etc/kubernetes/ssl scp ca.pem kubernetes-key.pem kubernetes.pem [email protected]10.10.90.

部署k8s ssl集群实践4:部署etcd集群

参考文档:https://github.com/opsnull/follow-me-install-kubernetes-cluster感谢作者的无私分享.集群环境已搭建成功跑起来.文章是部署过程中遇到的错误和详细操作步骤记录.如有需要对比参考,请按照顺序阅读和测试. 4.1下载和分发二进制安装包 [[email protected] kubernetes]# wget https://github.com/coreos/etcd/releases/download/v3.3.7/etcd-v3

（二）k8s之etcd集群

#(1)创建etcd证书请求 # cat etcd-csr.json { "CN": "etcd", "hosts": [ "127.0.0.1", "192.168.19.128", "192.168.19.129", "192.168.19.130" ], "key": { "algo": "rsa",

Etcd集群安装配置

本次测试集群为2各节点 一. Etcd集群安装配置 安装包:etcd-3.3.11-2.el7.centos.x86_64.rpm 配置文件: #[Member] #ETCD_CORS="" ETCD_DATA_DIR="/var/lib/etcd/default.etcd" #ETCD_WAL_DIR="" ETCD_LISTEN_PEER_URLS="http://192.168.218.146:2380" ETCD_LI