相关链接：

入门篇：https://www.cnblogs.com/xkops/p/6165565.html 

搭建篇：https://www.cnblogs.com/xkops/p/6169034.html

k8s是个什么玩意？

　　   可以这样去理解：k8s全称：Kubernetes，它可以看作是一个分布式系统支撑平台。　　　　　　　　　　

我们为什么要用k8s集群？

　　　故障自愈：

　　　　　k8s这个玩意可以监控容器运行，我们把项目放到容器里。由于一些外部内部原因服务器承受不住压力，如果主节点上的容器突然挂了，k8s立刻会自己将主机上的服务调度到另一个node机器上运行

　　　应用更新：

　　　　　更新项目上线时不用中断当前项目的运行。

　　　　　还有一些自动扩容，缩容的概念就不讲了，我本人也没亲身体会用过，不好说。

k8s的全生命周期管理：

    　　在k8s进行管理应用的时候，基本步骤是：创建集群，部署应用，发布应用，扩展应用，更新应用。

k8s的主要组件，以及它们主要是用来干什么的：

　　　　　　　　　　etcd：一款开源软件。提供可靠的分布式数据存储服务，用于持久化存储K8s集群的配置和状态

　　　　　　　　　　apiservice：用户程序（如kubectl）、K8s其它组件之间通信的接口。K8s其它组件之间不直接通信，而是通过API server通信的。这一点在上图的连接中可以体现，例如，只有API server连接了etcd，即其它组件更新K8s集群的状态时，只能通过API server读写etcd中的数据。

　　　　　　　　　　Scheduler：排程组件，为用户应用的每一可部署组件分配工作结点。

　　　　　　　　　　controller-manager：执行集群级别的功能，如复制组件、追踪工作结点状态、处理结点失败等。Controller Manager组件是由多个控制器组成的，其中很多控制器是按K8s的资源类型划分的，如Replication Manager（管理ReplicationController 资源），ReplicaSet Controller，PersistentVolume controller。

　　　　　　　　　　kube-proxy：在应用组件间负载均衡网络流量。

　　　　　　　　　　kubelet：管理工作结点上的容器。

　　　　　　　　　　Contriner runtime Docker， rkt等实际运行容器的组件

　　　　上面都是些k8s集群所要用到的组件，具体这些组件都是用来干嘛的呢，我们来好好分析分析。

master主机上192.168.26.277必须要有的组件：

　　etcd　　：提供分布式数据存储的数据库吧，用于持久化存储k8s集群的配置和状态

　　kube-apiserver：api service提供了http rest接口，是整个集群的入口，K8s其它组件之间不直接通信，而是通过API server通信的。（只有API server连接了etcd，即其它组件更新K8s集群的状态时，只能通过API server读写etcd中的数据）

　　kube-scheduler：scheduler负责资源的调度

　　kube-controller-manager：整个集群的管理控制中心，此组件里面是由多个控制器组成的，如：Replication Manager（管理ReplicationController 资源），ReplicaSet Controller，PersistentVolume controller。主要作用用来复制组件、追踪工作结点状态、处理失败结点

node节点机上192.168.26.228必须要有的组件：

　　　　　　　　　　flannel：好像是用来支持网络通信的吧

　　　　　　　　　　kube-proxy：用来负载均衡网络流量

　　　　　　　　　　kubelet：用来管理node节点机上的容器

　　　　　　　　　　docker：运行项目镜像容器的组件

k8s的整个集群运行原理：【重点核心知识很重要】

　　　　　　　　　　master主机上的kube-controller-manager是整个集群的控制管理中心，kube-controler-manager中的node controller模块 通过apiservice提供的监听接口，实时监控node机的状态信息。

 当某个node机器宕机，controller-manager就会及时排除故障并自动修复。

　　　　　　　　　　node节点机上的kubelet进程每隔一段时间周期就会调用一次apiservice接口报告自身状态，apiservice接口接受到这些信息后将节点状态更新到ectd中。kubelet也通过apiservice的监听接口监听pod信息，如果监控到新的pod副本被调度绑定到本节点，则执行pod对应的容器的创建和启动，如果监听到pod对象被删除，则删除本节点对应的pod容器。

kubernetes基础环境配置

docker本身对于环境没有太大要求，所以下面都是针对k8s的

# 将 SELinux 设置为 permissive 模式(将其禁⽤用)
setenforce 0
sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config# 关闭swap
swapoff -a
cp -p /etc/fstab /etc/fstab.bak$(date '+%Y%m%d%H%M%S')
sed -i "s/\/dev\/mapper\/centos-swap/\#\/dev\/mapper\/centos-swap/g" /etc/fstab
systemctl daemon-reload# 关闭防火墙，这是最简单的处理方式，当使用的网络环境是VPC时，内部网络实际上是安全的
systemctl stop firewalld 
systemctl disable firewalld# 设置底层的网络转发参数
echo "net.bridge.bridge-nf-call-ip6tables = 1" >>/etc/sysctl.conf 
echo "net.bridge.bridge-nf-call-iptables = 1" >> /etc/sysctl.conf
echo "net.ipv4.ip_forward=1" >> /etc/sysctl.conf 
sysctl -p
modprobe br_netfilter
echo "modprobe br_netfilter" >> /etc/rc.local
sysctl -p # 设置kubernetes的仓库源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

安装docker和kubernetes

yum install docker-ce kubelet kubeadm kubectl
systemctl enable docker && systemctl restart docker 
systemctl enable kubelet && systemctl start kubelet  

注意：CentOS默认安装的版本较低（比如我默认安装就是13的版本号），所以当你需要最新版本的时候，还需要卸载重装最新的docker。
2017年的3月1号之后，Docker的版本命名开始发生变化，同时将CE版本和EE版本进行分开。
区别如下：
Docker社区版（CE）：为了开发人员或小团队创建基于容器的应用,与团队成员分享和自动化的开发管道。docker-ce提供了简单的安装和快速的安装，以便可以立即开始开发。docker-ce集成和优化，基础设施。（免费）
Docker企业版（EE）：专为企业的发展和IT团队建立谁。docker-ee为企业提供最安全的容器平台，以应用为中心的平台。（付费）

# 停止服务
systemctl stop docker
# 删除docker相关
yum erase docker \docker-*# 添加阿里云的镜像仓库，docker.io的是很慢的
yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager \
--add-repo \http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo# 安装启动docker
yum install docker-ce -y
systemctl start docker
systemctl enable docker

下载kubernetes的镜像

kubernetes是Google使用go语言开发的，所以默认是去获取Google提供的镜像。所以我们需要找其他的方式来拉取。
我们写了一个脚本 pull_images.sh，用来从 hub.docker.com 拉取镜像。

#!/bin/bashgcr_name=k8s.gcr.io
hub_name=mirrorgooglecontainers
# define images
images=(
kubernetes-dashboard-amd64:v1.10.1
kube-apiserver:v1.15.0
kube-controller-manager:v1.15.0
kube-scheduler:v1.15.0
kube-proxy:v1.15.0
pause:3.1
etcd:3.3.10
)for image in ${images[@]}; dodocker pull $hub_name/$imagedocker tag $hub_name/$image $gcr_name/$imagedocker rmi $hub_name/$image
donedocker pull coredns/coredns:1.3.1
docker tag coredns/coredns:1.3.1 k8s.gcr.io/coredns:1.3.1
docker rmi coredns/coredns:1.3.1

原理其实也很简单，就是从拉下来之后重新tag，标记为k8s.gcr.io域下。
完成之后如下：

[root@k8s-master ~]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
k8s.gcr.io/kube-proxy v1.15.0 d235b23c3570 4 weeks ago 82.4MB
k8s.gcr.io/kube-apiserver v1.15.0 201c7a840312 4 weeks ago 207MB
k8s.gcr.io/kube-controller-manager v1.15.0 8328bb49b652 4 weeks ago 159MB
k8s.gcr.io/kube-scheduler v1.15.0 2d3813851e87 4 weeks ago 81.1MB
k8s.gcr.io/coredns 1.3.1 eb516548c180 6 months ago 40.3MB
k8s.gcr.io/etcd 3.3.10 2c4adeb21b4f 7 months ago 258MB
k8s.gcr.io/kubernetes-dashboard-amd64 v1.10.0 0dab2435c100 10 months ago 122MB
k8s.gcr.io/pause 3.1 da86e6ba6ca1 19 months ago 742kB

初始化k8s-master

到现在实际上k8s安装已经完成，我们要初始化master节点了，直接执行命令

# 由于我们使用虚拟机，基本上是一个cpu，而k8s建议cpu要有2个，所以我们忽略这个错误
kubeadm init --kubernetes-version v1.15.0 --pod-network-cidr 10.244.0.0/16 --ignore-preflight-errors=NumCPU

执行之后要注意下面的信息，提示我们集群搭建的后续操作

Your Kubernetes control-plane has initialized successfully!To start using your cluster, you need to run the following as a regular user:mkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/configsudo chown $(id -u):$(id -g) $HOME/.kube/configYou should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:https://kubernetes.io/docs/concepts/cluster-administration/addons/Then you can join any number of worker nodes by running the following on each as root:kubeadm join 192.168.91.132:6443 --token zf26v4.3u5z3g09ekm4owt3 \--discovery-token-ca-cert-hash sha256:fce98cb6779dbcc73408d1faad50c9d8f86f154ed88a5380c08cece5e08aba58

添加node节点

只要在你的node节点执行对应join命令即可

kubeadm join 192.168.91.132:6443 --token zf26v4.3u5z3g09ekm4owt3 \--discovery-token-ca-cert-hash sha256:fce98cb6779dbcc73408d1faad50c9d8f86f154ed88a5380c08cece5e08aba58

执行之后在master节点上执行 kubectl get nodes，可以看到

NAME STATUS ROLES AGE VERSION
k8s-master Ready master 21h v1.15.0
k8s-node1 Ready <none> 127m v1.15.0

启动Kubernetes dashboard

kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/recommended/kubernetes-dashboard.yaml
kubectl proxy

http://127.0.0.1:8001/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy/

完成

异常汇总

k8s重启后无法启动。

使用journalctl -f查看日志

-- The start-up result is done.
Jul 19 10:27:34 k8s-node1 kubelet[9831]: Flag --cgroup-driver has been deprecated, This parameter should be set via the config file specified by the Kubelet's --config flag. See https://kubernetes.io/docs/tasks/administer-cluster/kubelet-config-file/ for more information.
Jul 19 10:27:34 k8s-node1 kubelet[9831]: Flag --cgroup-driver has been deprecated, This parameter should be set via the config file specified by the Kubelet's --config flag. See https://kubernetes.io/docs/tasks/administer-cluster/kubelet-config-file/ for more information.
Jul 19 10:27:34 k8s-node1 kubelet[9831]: I0130 10:27:34.877299 9831 server.go:407] Version: v1.15.0
Jul 19 10:27:34 k8s-node1 kubelet[9831]: I0130 10:27:34.877538 9831 plugins.go:103] No cloud provider specified.
Jul 19 10:27:34 k8s-node1 kubelet[9831]: I0130 10:27:34.892361 9831 certificate_store.go:130] Loading cert/key pair from "/var/lib/kubelet/pki/kubelet-client-current.pem".
Jul 19 10:27:34 k8s-node1 kubelet[9831]: I0130 10:27:34.926248 9831 server.go:666] --cgroups-per-qos enabled, but --cgroup-root was not specified. defaulting to /
Jul 19 10:27:34 k8s-node1 kubelet[9831]: F0130 10:27:34.926665 9831 server.go:261] failed to run Kubelet: Running with swap on is not supported, please disable swap! or set --fail-swap-on flag to false. /proc/swaps contained: [Filename Type Size Used Priority /swapfile file 2097148 0 -2]
Jul 19 10:27:34 k8s-node1 systemd[1]: kubelet.service: main process exited, code=exited, status=255/n/a
Jul 19 10:27:34 k8s-node1 systemd[1]: Unit kubelet.service entered failed state.
Jul 19 10:27:34 k8s-node1 systemd[1]: kubelet.service failed.

刚开始以为是Flag --cgroup-driver has been deprecated这一段，后来才发现应该是**failed to run Kubelet: Running with swap on is not supported, please disable swap!**这一段，这个日志就很明显了。
解决方案就是关闭Swap，重启后生效

swapoff -a
cp -p /etc/fstab /etc/fstab.bak$(date '+%Y%m%d%H%M%S')
sed -i "s/\/dev\/mapper\/centos-swap/\#\/dev\/mapper\/centos-swap/g" /etc/fstab
systemctl daemon-reload
systemctl restart kubelet

所以我把这段加到了上面

kubernetes部分pod一直没有正常running。

例如：

[root@k8s-master ~]# kubectl get pods -A
NAMESPACE NAME READY STATUS RESTARTS AGE
kube-system coredns-5c98db65d4-b2rgr 1/1 Running 0 20h
kube-system coredns-5c98db65d4-l6x97 1/1 Running 0 20h
kube-system etcd-k8s-master 1/1 Running 4 20h
kube-system kube-apiserver-k8s-master 1/1 Running 15 20h
kube-system kube-controller-manager-k8s-master 1/1 Running 27 20h
kube-system kube-flannel-ds-amd64-k5kjg 1/1 Running 2 110m
kube-system kube-flannel-ds-amd64-z7lcn 1/1 Running 20 88m
kube-system kube-proxy-992ql 1/1 Running 4 20h
kube-system kube-proxy-ss9r6 1/1 Running 0 27m
kube-system kube-scheduler-k8s-master 1/1 Running 29 20h
kube-system kubernetes-dashboard-7d75c474bb-s7fwq 0/1 ErrImagePull 0 102s

最后kubernetes-dashboard-7d75c474bb-s7fwq显示ErrImagePull。
我们执行命令kubectl describe pod kubernetes-dashboard-7d75c474bb-s7fwq -n kube-system
（注意一定要加 -n 指定命名空间，否则会以default空间，会出现 Error from server (NotFound): pods “xxxxxxxx” not found）
最后Events的部分如下：

Events:Type Reason Age From Message---- ------ ---- ---- -------Normal Scheduled 119s default-scheduler Successfully assigned kube-system/kubernetes-dashboard-7d75c474bb-s7fwq to k8s-node1Normal Pulling 50s (x3 over 118s) kubelet, k8s-node1 Pulling image "k8s.gcr.io/kubernetes-dashboard-amd64:v1.10.1"Warning Failed 33s (x3 over 103s) kubelet, k8s-node1 Failed to pull image "k8s.gcr.io/kubernetes-dashboard-amd64:v1.10.1": rpc error: code = Unknown desc = Error response from daemon: Get https://k8s.gcr.io/v2/: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)Warning Failed 33s (x3 over 103s) kubelet, k8s-node1 Error: ErrImagePullNormal BackOff 6s (x4 over 103s) kubelet, k8s-node1 Back-off pulling image "k8s.gcr.io/kubernetes-dashboard-amd64:v1.10.1"Warning Failed 6s (x4 over 103s) kubelet, k8s-node1 Error: ImagePullBackOff

从这个日志发现问题是kubernetes-dashboard-amd64:v1.10.1要求的版本比目前docker中的版本高（目前的版本是v1.10.0），所以重新拉一个镜像即可