部署结构
- 3台虚拟机，其中1台作为master，2台作为minion，都安装了最新版本的docker engine（目前是1.11.2)
- k8s版本是1.3.0
主要问题
部署步骤基本按照官方文档：http://kubernetes.io/docs/getting-started-guides/ubuntu/，但是有两个主要问题
- 国内下载安装包太慢
安装脚本使用curl下载k8s的release tar包（1.3.0的release包有1.4G），经常timeout中断安装
- GFW限制了对gcr.io的访问
k8s在创建Pod的时候，需要从gcr.io下载一个helper镜像（目前是 gcr.io/google_containers/pause-amd64:3.0 ）。这个问题会导致无法下载该镜像，然后Pod一直处于ContainerCreating状态。
这里主要介绍一下如何解决这两个问题。
部署步骤
1. 在部署机上下载k8s，并编译。
部署机需要安装docker engine(1.11.2)和go(1.6.2)
$git clone https://github.com/kubernetes/kubernetes.git $cd kubernetes $make release-skip-tests $mv _output/release-stage/full/kubernetes/server/kubernetes-server-linux-amd64.tar.gz cluster/ubuntu/
Note
除了linux/amd64，默认还会为其他平台做交叉编译。为了减少编译时间，可以修改hack/lib/golang.sh，把KUBE_SERVER_PLATFORMS， KUBE_CLIENT_PLATFORMS和KUBE_TEST_PLATFORMS中除linux/amd64以外的其他平台注释掉。
2. 下载etcd,flannel安装包
$ETCD_VERSION=${ETCD_VERSION:-"2.3.1"}
$ETCD="etcd-v${ETCD_VERSION}-linux-amd64"
$curl -L https://github.com/coreos/etcd/releases/download/v${ETCD_VERSION}/${ETCD}.tar.gz -o cluster/ubuntu/etcd.tar.gz
$FLANNEL_VERSION=${FLANNEL_VERSION:-"0.5.5"}
$curl -L https://github.com/coreos/flannel/releases/download/v${FLANNEL_VERSION}/flannel-${FLANNEL_VERSION}-linux-amd64.tar.gz -o cluster/ubuntu/flannel.tar.gz
3. 解压缩安装包
$cd cluster/ubuntu
$mkdir -p binaries/master
$mkdir -p binaries/minion
$ tar xzf etcd.tar.gz
$ cp ${ETCD}/etcd ${ETCD}/etcdctl binaries/master
$ echo ${ETCD_VERSION} > binaries/.etcd
$tar xzf flannel.tar.gz
$cp flannel-${FLANNEL_VERSION}/flanneld binaries/master
$cp flannel-${FLANNEL_VERSION}/flanneld binaries/minion
$echo ${FLANNEL_VERSION} > binaries/.flannel
$KUBE_VERSION=1.3.0
$tar xzf kubernetes-server-linux-amd64.tar.gz
$cp kubernetes/server/bin/kube-apiserver kubernetes/server/bin/kube-controller-manager kubernetes/server/bin/kube-scheduler binaries/master
$cp kubernetes/server/bin/kubelet kubernetes/server/bin/kube-proxy binaries/minion
$cp kubernetes/server/bin/kubectl binaries/
$echo ${KUBE_VERSION} > binaries/.kubernetes
4. 安装
$ cd ../
$export nodes="[email protected] [email protected] [email protected]"
$export role="ai i i"
$export NUM_NODES=${NUM_NODES:-3}
$export SERVICE_CLUSTER_IP_RANGE=192.168.3.0/24
$export FLANNEL_NET=172.16.0.0/16
$KUBERNETES_PROVIDER=ubuntu ./kube-up.sh
5. 解决不能从gcr.io下载pause-amd64:3.0 镜像的问题
1) 在可以访问gcr.io的地方
docker pull gcr.io/google_containers/pause-amd64:3.0
传到私有docker registry
docker tag gcr.io/google_containers/pause-amd64:3.0 k8s-docker.mydomain.com/google_containers/pause-amd64:3.0
docker push k8s-docker.mydomain.com/google_containers/pause-amd64:3.0
2) 在所有的k8s节点
docker pull k8s-docker.mydomain.com/google_containers/pause-amd64:3.0
docker tag k8s-docker.mydomain.com/google_containers/pause-amd64:3.0 gcr.io/google_containers/pause-amd64:3.0
Note
不通过私有registry中转，而是使用docker save/load应该也可以（未测试），只是比较麻烦。