前言

kubernetes简称K8S，是由Google在2014年开源的生产级别的容器编排系统，虽说14年才开源，但目前已成为业界主流的容器编排标准。如果说Docker是驮着集装箱的鲸鱼，那么K8S就是一个船舵，引领着Docker（或者说容器技术）走向远方。

学习K8S已成为一个趋势，俗话说得好，纸上得来终觉浅，绝知此事要躬行。学习K8S只看理论，不动手实操那肯定是不行的，所以搭建一个K8S集群是第一件事。但这也是一件非常痛苦的事情，且不说各种冗长的linux命令，很多初学者光是看到一大堆抽象的概念就望而却步了，更别谈后面的学习。

本文参考了其它博客，总结了K8S集群搭建的完整过程，梳理了K8S集群搭建中可能踩到的坑，希望能够一步步带你实现整个集群的搭建。

一、硬件环境准备

• 至少三台Linux虚拟机，操作系统 CentOS7.x-86_x64。（ps：先准备一台即可，后续直接克隆）
• 2GB以上内存，2核或更多的CPU。
• 硬盘20GB以上。
• 设置虚拟机为NAT网络，保证虚拟机可以访问外网，因为需要拉取镜像。

二、Linux环境设置

1 分别关闭防火墙并关闭防火墙自启

systemctl stop firewalld
systemctl disable firewalld

2 关闭selinux

setenforce 0
sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

3 设置路由

yum install -y bridge-utils.x86_64

加载br_netfilter模块，使用lsmod查看开启的模块：

modprobe  br_netfilter

cat <<EOF >  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

重新加载配置：

sysctl --system

4 关闭swap

swapoff -a && sysctl -w vm.swappiness=0

5 取消开机挂载swap

sed -ri '/^[^#]*swap/s@^@#@' /etc/fstab

三、安装Docker

如果本机已装Docker直接忽略。

1 通过阿里云yum源安装

wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
yum -y install docker-ce-18.06.1.ce-3.el7
systemctl enable docker && systemctl start docker

2 修改Docker镜像仓库：

cat > /etc/docker/daemon.json << EOF
{"registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"]
}
EOF

3 修改docker cgroup驱动，与k8s一致，使用systemd

vim /etc/docker/daemon.json

{"registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"],"exec-opts": ["native.cgroupdriver=systemd"],"log-driver": "json-file","log-opts": {"max-size": "100m"},"storage-driver": "overlay2","storage-opts": ["overlay2.override_kernel_check=true"]
}

四、安装Kubectl，Kubeadm，Kubelet

1 设置Kubenetes为国内yum源

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

2 安装最新版kubelet,kubeadm, kubectl

yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes

3 启动kubelet

systemctl enable --now kubelet

五、克隆虚拟机

1 克隆node1和node2

对当前虚拟机进行克隆，克隆两份出来作为node1和node2，当前虚拟机作为master。

2 修改hostname

master节点执行：

hostnamectl set-hostname k8s-master

node1和node2分别执行：

hostnamectl set-hostname k8s-node1

hostnamectl set-hostname k8s-node2

3 修改hosts文件

1）通过ifconfig命令查看各个虚拟机的ip地址，ens33中inet即为我们需要的ip。
2）修改master节点的hosts文件

cat >> /etc/hosts << EOF
192.168.6.128 k8s-master
192.168.6.131 k8s-node1 
192.168.6.132 k8s-node2
EOF

六、安装K8S master

1 安装1.19版本的k8s

只在master节点进行操作，注意api-server的ip必须指定为master的ip。

kubeadm init \--apiserver-advertise-address=192.168.6.128 \--image-repository registry.aliyuncs.com/google_containers \--kubernetes-version v1.19.0 \--service-cidr=10.96.0.0/12 \--pod-network-cidr=10.244.0.0/16

过程比较久，请耐心等待，执行完毕后会出现提示：

***
***
***
Your Kubernetes control-plane has initialized successfully!To start using your cluster, you need to run the following as a regular user:mkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/configsudo chown $(id -u):$(id -g) $HOME/.kube/configYou should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:https://kubernetes.io/docs/concepts/cluster-administration/addons/Then you can join any number of worker nodes by running the following on each as root:kubeadm join 192.168.6.128:6443 --token 2icetc.ygcqn4j2q3lx9vw3 \--discovery-token-ca-cert-hash sha256:7a437683182ff063eb7250ed9d12400447f6e191cf07f05dba0b76ce433ef7e8 

记下这段提示，后期node加入集群需要使用。

2 设置权限

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

3 创建kube-flannel网络插件

如果没有这个插件，kubedns无法启动，pod之间就无法通信，执行以下命令进行创建

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

如果提示网络错误，可保存为本地文件并命名为kubenetes-flannel.yml，然后以本地文件的方式创建：

kubectl apply -f kube-flannel.yml

至此，master节点初始化完毕。现在已经可以使用kubectl查看集群信息了。

七、安装K8S node

1 将node1和node2加入到集群

在node1和node2执行以下命令：

kubeadm join 192.168.6.128:6443 --token 2icetc.ygcqn4j2q3lx9vw3 \--discovery-token-ca-cert-hash sha256:7a437683182ff063eb7250ed9d12400447f6e191cf07f05dba0b76ce433ef7e8 

等待一段时间，会提示This node has joined the cluster，意味着node结点初始化完成。

2 执行kubectl查看安装结果

切换到master节点，执行kubectl查看集群信息。

1）查看所有节点：

kubectl get nodes

2）查看所有命名空间的所有pod：

kubectl get pods --all-namespaces -o wide

3）查看集群健康状态：

kubectl get cs

至此整个K8S集群就安装结束。

八、安装kubernetes-dashboard

K8S还有个可视化的工具kubenetes-dashboard用来查看集群信息。如果你不需要，完全不用执行这一步。

1 准备安装文件

wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0-beta8/aio/deploy/recommended.yaml

将文件重新命名为kubenetes-dashboard.yaml：

mv recommended.yaml kubernetes-dashboard.yaml

为了能够从集群外部也能访问dashboard，将文件中名称为kubernetes-dashboard的Service的类型由cluster ip(默认的Service类型)改成nodeport：

kind: Service
apiVersion: v1
metadata:labels:k8s-app: kubernetes-dashboardname: kubernetes-dashboardnamespace: kubernetes-dashboard
spec:type: NodePortports:- port: 443targetPort: 8443nodePort: 30001selector:k8s-app: kubernetes-dashboard

2 为dashboard创建service account，clusterrolebinding

kubectl create serviceaccount dashboard-admin -n kube-system

kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin

3 获取登录dashboard需要的token

kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')

可以看到展示的token

4 通过yaml文件创建kubernetes-dashboard

通过刚刚修改后的yaml文件创建kubernetes-dashboard：

kubectl apply -f kubernetes-dashboard.yaml

至此，dashboard安装完成。

5 访问kubernetes-dashboard

由于虚拟机自带的firefox浏览器访问有点问题，建议换成chrome。或者从宿主机的chrome访问https://192.168.6.128:30001/（注意一定要用https访问）。即可打开dashboard。选择Token登录方式，即可跳转成功，如下：

九、踩坑总结

1 虚拟机重启后无法访问网络。

排查方向：
1）网络没有设置为NAT。
2）执行 ifconfig 可以发现 ens33 没了。
解决方案：

ifconfig ens33 up
systemctl stop NetworkManager
systemctl disable NetworkManager
service network start

2 kubectl cluster-info 无法连接集群。

1）网络原因：参考问题1

2）容器异常终止：
执行 docker ps 发现运行的容器数量不正常。
执行 docker ps -a 发现了有异常退出的容器 etcd 和 apiserver。

解决方案：通过 docker restart 重启异常退出的容器。

3 通过kubectl get nodes 发现 mater NotReady

排查方向：
执行journalctl -u kubelet | tail -n 300查看集群初始化日志，发现找不到指定的hostname。

原因：
执行kubeadm init之后修改了hostname导致。注意：必须先修改hostname，然后才能执行kubeadm init。

解决方案：
重新初始化master和node，然后将node加入集群。
1）master执行：

kubeadm reset

kubeadm init \--apiserver-advertise-address=192.168.6.128 \--image-repository registry.aliyuncs.com/google_containers \--kubernetes-version v1.19.0 \--service-cidr=10.96.0.0/12 \--pod-network-cidr=10.244.0.0/16

2）node执行：

kubeadm reset

kubeadm join 192.168.6.128:6443 --token 2icetc.ygcqn4j2q3lx9vw3 \--discovery-token-ca-cert-hash sha256:7a437683182ff063eb7250ed9d12400447f6e191cf07f05dba0b76ce433ef7e8

4 集群健康检查出现Unhealthy

参考：kubeadm安装k8s 组件controller-manager 和scheduler状态 Unhealthy