如何跨不同版本K8S，为有状态工作负载做蓝绿部署

容器的生态正在爆发！不仅仅应用层在快速变化，还有用于管理应用程序的平台：Kubernetes，也在快速变化。这就为Ops团队带来了一个必须要解决的难题。IT团队如何才能保证一款应用程序能够在各种不同版本的Kubernetes上都能良好运行呢？
如何跨不同版本K8S，为有状态工作负载做蓝绿部署

PX-Motion演示视频：如何跨不同版本Kubernetes，为有状态的工作负载做蓝绿部署

蓝-绿部署是一种专门用于解决这一问题的技术，并能够降低生产环境部署的过程中的停机或错误风险。在蓝绿部署场景下，用户需要构建两个完全相同的生产环境（分别称为蓝与绿），这两个环境之间仅在需要部署的新的变更方面存在差异。每一次仅激活一个环境，两个环境之间的数据传输也是部署过程的一部分。该技术对于不含任何数据的无状态应用非常有效，但对于数据库这类有状态应用则存在一定的困难，因为用户不得不保留两份生产数据副本。这种情况下可能会需要使用Postgres、MySQL以及其他数据库备份和恢复脚本，或定制化操作手册或自动脚本等将数据从一个数据源人工移动到另一个数据源，这个过程将会非常复杂并且会耗费大量的时间。

Portworx采用PX-Motion解决了有状态应用程序的蓝绿部署过程中的数据管理问题。PX-Motion使IT团队能够很方便地在各种环境之间进行数据和应用配置的迁移，极大地简化了有状态应用的蓝绿部署。

本篇博文将对PX-Motion的功能与能力进行探讨。具体地说，笔者将展示如何对两个不同版本的Kubernetes上运行的有状态LAMP堆栈进行蓝绿部署。

总结来说，我们会：

将两个Kubernetes集群（分别称为来源集群和目标集群）配对，从而使数据、配置和Pods能够这两个集群之间进行转移，这是蓝绿部署的一部分。
使用Kubernetes将一个LAMP堆栈部署到来源集群上，并验证应用程序能够运行。
使用PX-Motion可以将Kubernetes的部署、加密文件、副本集、服务、持久卷、持久卷连接以及数据等，从来源集群迁移到目标集群上进行测试和验证。在迁移完成之后，所有的Pods都能够在来源集群上继续运行。现在我们已经有了两个集群在运行，分别是蓝色和绿色。
使用Kubernetes验证我们的应用以及自身数据是否正在目标集群上正常运行。
在新集群上的部署验证完成之后，我们就可以更新我们的负载平衡设置，从而使所有的流量指向新集群。此时蓝绿部署就完成了。

我们开始吧！

如何跨不同版本K8S，为有状态工作负载做蓝绿部署

安装PX-Motion

前提条件

如果你正在尝试PX-Migration，请确认已经满足所有的前提条件(https://docs.portworx.com/cloud-references/migration/migration-stork/#overview)。

配对Kubernetes集群为数据迁移做准备
从来源集群(Kubernetes 1.10.3)向目标集群(Kubernetes 1.12.0)进行工作载荷迁移之前，我们需要将这两个集群配对起来。配对的概念相当于将手机和蓝牙播放器进行配对，使两种不同的设备结合起来工作。
集群配对首先要做的是对目标集群进行配置。首先，建立对于pxctl (“pixie-cuttle”)的访问，即Portworx CLI。下面将介绍如何在可被kubectl访问的工作站上使用pxctl。

$ kubectl config  use-context <destination-cluster>`

$ PX_POD_DEST_CLUSTER=$(kubectl get pods --context<DESTINATION_CLUSTER_CONTEXT> -l name=portworx -n kube-system -o jsonpath='{.items[0].metadata.name}')

$ alias pxctl_dst="kubectl exec $PX_POD_DEST_CLUSTER \--context <DESTINATION_CLUSTER_CONTEXT>-n kube-system /opt/pwx/bin/pxctl"

下一步，对目标集群对象存储进行设置，使其准备好与来源集群进行配对。我们需要在目标集群上设置一个对象存储端点，作为数据在迁移过程中进行分级的位置。

$ pxctl_dst -- volume create --size 100 objectstore
$ pxctl_dst -- objectstore create -v objectstore
$ pxctl_dst -- cluster token show
Token is <UUID>

下一步，创建一个集群配对YAML配置文档，从而对应到来源Kubernetes集群上。这个clusterpair.yaml(https://docs.portworx.com/cloud-references/migration/migration-stork/#overview)文档将包含如何与目标集群调度程序和Portworx存储进行验证的信息。运行如下命令并编辑YAML文档即可建立配对：

$ storkctl generate clusterpair --context <destination-cluster> > clusterpair.yaml`

说明：你可以用你自己的名称替换“metadata.name”。
说明：在如下示例中，options.token可以使用通过上述“cluster tokenshow”命令生成的令牌。
说明：在如下示例中，对于options.ip，将需要负载均衡器或Portworx节点的IP或者DNS，这样我们才能够访问9001和9010端口。

下一步，使用kubectl，将这个集群配对应用到来源集群上。

$ kubectl config use-context <source-cluster>

$ kubectl create -f clusterpair.yaml

在这种架构下，集群配对通过互联网（VPC至VPC）进行连接。这就需要确保我们的目标存储能够良好地与来源集群连接。请参照如下说明。（https://docs.portworx.com/cloud-references/migration/）

说明:这些步骤均是暂用措施，后续新版本的发布后将由自动化过程取代。
说明: 云到云、本地环境到云、云到本地环境，都需要类似的步骤。

如果所有步骤均操作成功，则请使用storkctl列出集群配对，程序将显示存储和调度程序的Ready状态。如果显示Error，则请使用kubectl describe clusterpair，以获取更多信息。

$ storkctl get clusterpair
NAME      STORAGE-STATUS   SCHEDULER-STATUS   CREATED
green     Ready            Ready              19 Nov 18 11:43 EST

$ kubectl describe clusterpair new-cluster | grep pairedNormal  Ready   2m    stork  Storage successfully pairedNormal  Ready   2m    stork  Scheduler successfully paired

pxctl也可以用于列出集群配对。

$ pxctl_src cluster pair list
CLUSTER-ID  NAME               ENDPOINT                      CREDENTIAL-ID
c604c669    px-cluster-testing http://portworx-api.com:9001  a821b2e2-788f

我们的集群现在已经配对成功了。

在Kubernetes 1.12.0上测试工作负载

目前Kubernetes 1.10.3来源集群已经和1.12.0目标集群完成了配对，我们可以将运行的工作负载、配置以及数据从一个集群迁移到另一个集群上，来测试目标集群1.12.0Kubernetes上的应用程序是否能够正常运行。在迁移过程中及完成后，所有的Pods都将继续在来源集群上运行。我们现在有了两个集群，即蓝色和绿色，只在其运行的Kubernetes版本上存在差异。

$ kubectl config  use-context <1.10.3 source cluster context>

如果想要检查当前使用的Kubernetes版本，请运行kubectl version命令。这个命令能够输出当前的客户端和服务器版本。如下所示，服务器版本为1.10.3。

$ kubectl version --short | awk -Fv '/Server Version: / {print "Kubernetes Version: " $3}'
Kubernetes Version: 1.10.3-eks

在1.10.3上部署应用程序

在迁移工作负载时，我们需要一个来源集群上已经存在的工作负载。在演示中，我们将使用Heptio的示例LAMP堆栈在来源集群上创建一个LAMP堆栈(http://docs.heptio.com/content/tutorials/lamp.html)，从而在MySQL卷上使用Portworx。这个堆栈包含了一个存储分类，包括Portworx、加密文件、HPH网页前端，以及一个具备Porworx卷副本的mySQL数据库。

$ kubectl create ns lamp   $ kubectl create -f . -n lamp
job.batch "mysql-data-loader-with-timeout" created
storageclass.storage.k8s.io "portworx-sc-repl3" created
persistentvolumeclaim "database" created
deployment.extensions "mysql" created
service "mysql" created
deployment.extensions "php-dbconnect" created
service "web" created
secret "mysql-credentials" created

使用kubectl对Pods进行检索，确保其处于Running状态下。

$ kubectl get po -n lamp
NAME                                   READY     STATUS    RESTARTS   AGE
mysql-6f95f464b8-2sq4v                 1/1       Running   0          1m
mysql-data-loader-with-timeout-f2nwg   1/1       Running   0          1m
php-dbconnect-6599c648-8wnvf           1/1       Running   0          1m
php-dbconnect-6599c648-ckjqb           1/1       Running   0          1m
php-dbconnect-6599c648-qv2dj           1/1       Running   0          1m

提取Web服务。记录服务的CLUSTER-IP和EXTERNAL-IP。迁移完成后，这两个数据将会因为处于新的集群上而发生变化。

$ kubectl get svc web -n lamp -o wide
NAME      TYPE           CLUSTER-IP       EXTERNAL-IP             PORT(S)      AGE   SELECTOR
web       LoadBalancer   172.20.219.134   abe7c37c.amazonaws.com  80:31958/TCP 15m   app=php-dbconnect

访问端点或使用curl确认WordPress已安装、运行正常且已连接至MySQL。

如何跨不同版本K8S，为有状态工作负载做蓝绿部署
MySQL连接

$ curl -s abe7c37c.amazonaws.com/mysql-connect.php | jq
{"outcome": true
}

验证是否也为MySQL容器创建了PVC。如下我们将看到PVC、数据库，各有三个副本用于部署。这个卷是MySQL的ReadWriteOnce卷块。

$ kubectl get pvc -n lamp
NAME       STATUS    VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS        AGE
database   Bound     pvc-c572277d-ec15-11e8-9f4d-12563b3068d4   2Gi        RWO            portworx-sc-repl3   28m

卷信息也可以使用pxctl进行展示。Volume list命令的输出如下。

$ pxctl_src -- volume list
ID                 NAME                                      SIZE  HA STATUS                       
618216855805459265 pvc-c572277d-ec15-11e8-9f4d-12563b3068d4  2 GiB 3  attached on 10.0.3.145

将应用程序迁移至Kubernetes 1.12.0

对本地kubectl客户端进行配置，使其使用正在运行1.12.0的目标集群。

$ kubectl config use-context <1.12.0 destination cluster context>

运行kubectl Version命令，这个命令将输出当前的客户端和服务器版本，如下看到运行的1.12.0。

$ kubectl version --short | awk -Fv '/Server Version: / {print "Kubernetes Version: " $3}'
Kubernetes Version: 1.12.0

验证LAMP堆栈Pods是否正在运行中。如下所示，该集群的Namespace没有资源，即表示迁移还未发生。

$ kubectl get po
No resources found.

下一步，使用Stork客户端storkctl，创建一次迁移，将LAMP堆栈资源和卷从1.10.3集群迁移到1.12.0集群上。向storkctl create migration的命令的输入包括clusterPair、namespaces以及可选的includeResources和startApplications，从而将相关资源纳入并在迁移完成后启动应用程序。该命令的更多信息请点击这里(https://docs.portworx.com/cloud-references/migration/migration-stork/)。

$ storkctl --context <source-cluster-context> \create migration test-app-on-1-12 \--clusterPair green \--namespaces lamp \--includeResources \--startApplications
Migration test-app-on-1-12 created successfully

迁移创建后，使用storkctl获取迁移状态。

$  storkctl --context <source-cluster-context> get migration
NAME               CLUSTERPAIR   STAGE     STATUS       VOLUMES   RESOURCES   CREATED
test-app-on-1-12   green         Volumes   InProgress   0/1       0/7         19 Nov 18 13:47 EST

pxctl也可以用于查看迁移状态。卷将显示出与迁移有关的STAGE和STATUS。

$ pxctl_src cloudmigrate statusCLUSTER UUID: 33293033-063c-4512-8394-d85d834b3716
TASK-ID            VOLUME-ID               VOLUME-NAME                               STAGE     STATUS     
85d3-lamp-database 618216855805459265      pvc-c572277d-ec15-11e8-9f4d-12563b3068d4  Done      Initialized

完成后，迁移将显示STAGE → Final和 STATUS → Successful。

$ storkctl --context  <source-cluster-context> get migrationNAME               CLUSTERPAIR   STAGE     STATUS       VOLUMES   RESOURCES   CREATED
test-app-on-1-12   green         Final     Successful   1/1       7/7         19 Nov 18 13:47 EST

现在从目标集群中获得Pods。如下所示，PHP与MySQL现在都在目的集群上运行。

$ kubectl get po -n lamp
NAME                            READY     STATUS    RESTARTS   AGE
mysql-66d895ff69-z49jl          1/1       Running   0          11m
php-dbconnect-f756c7854-2fc2l   1/1       Running   0          11m
php-dbconnect-f756c7854-c48x8   1/1       Running   0          11m
php-dbconnect-f756c7854-h8tgh   1/1       Running   0          11m

注意CLUSTER-IP和EXTERNAL-IP现在已经发生了变化。这表示服务现在在新的Kubernetes 1.12集群上运行，并且因此包含了与此前不同的子网。

$  kubectl get svc web -n lamp -o wide
NAME      TYPE           CLUSTER-IP     EXTERNAL-IP            PORT(S)       AGE  SELECTOR
web       LoadBalancer   10.100.0.195   aacdee.amazonaws.com   80:31958/TCP  12m  app=php-dbconnect

如果网站能够在1.12.0集群上被访问、运行正常并且数据已经正确迁移到了1.12.0集群，则将会返回相同的输出内容。

Web网页前端

如何跨不同版本K8S，为有状态工作负载做蓝绿部署

MySQL连接

$ curl -s http://aacdee.amazonaws.com//mysql-connect.php | jq
{"outcome": true
}

如下我们可以看到来源（下）和目标（上）集群上，kubectl get po -n lamp的输出。注意Pods的AGE，目的集群（上）中有最近迁移进来的LAMP堆栈。

如何跨不同版本K8S，为有状态工作负载做蓝绿部署

两个集群在迁移后运行的是相同的程序和数据。

如何跨不同版本K8S，为有状态工作负载做蓝绿部署

回顾整个过程：

第一步，1.10.3 EKS集群与1.12.0集群配对。
LAMP堆栈（Linux, Apache, MySQL, PHP）部署到1.10.3集群上。
使用PX-Motion将Kubernetes部署、加密文件、副本集、服务、持久卷、持久卷连接，以及LAMP堆栈数据迁移到1.12.0集群上。
应用程序在1.12.0集群上被访问，并验证其是否正确运行。

持久卷和连接都使用PX-Motion（https://docs.portworx.com/cloud-references/migration）在各个集群之间进行迁移，Kubernetes资源和副本都使用Portworx Stork在目标集群上进行启动。

现在我们拥有了两个完全可运行的Kubernetes集群和两个环境，即蓝色和绿色部署环境。在实际操作中，你需要在绿色集群上进行所有测试，从而确保应用程序不会在新的集群上发生预期之外的问题。确认测试完成之后，将负载均衡从蓝色集群切换至新的绿色集群，此时部署就完成了！

**结论

PX-Motion具有将Portworx卷和Kubernetes资源在集群之间进行迁移的能力。上述样例就是使用PX-Motion帮助团队实现蓝绿部署的过程：对其工作负载和数据在新版本的Kubernetes上进行测试，并帮助团队在新的绿色集群上运行应用程序。在不同版本的Kubernetes上进行真实负载和数据测试，使得运营团队能够在发布新版本的Kubernetes之前获得充足的信心。蓝绿部署并不是PX-Motion唯一的功能，请查看我们其他的PX-Motion博文了解更多。**

查看全文
如若内容造成侵权/违法违规/事实不符，请联系编程学习网邮箱：809451989@qq.com进行投诉反馈，一经查实，立即删除！

rename批量修改文件名称（详解）
本人有道云笔记链接,欢迎查阅指导qq：1158929659 文档：7、rename批量修改文件名称（详解）.no...链接：http://note.youdao.com/noteshare?id=b8d1aea26ea20f7883e5b6d94ba8814c&sub=A7237BD00A744048A45C319F2B5A6823...
2024/5/9 12:19:35
学习linux十二天
四种方式配置防火墙iptablesfirewalldfirewall-configTCP Wrappers...
2024/5/9 11:10:36
基础
...
2024/5/9 11:00:15
第10周重点
11.25事物隔离级别事物日志redo undo事物锁 begin; update 事物日志性能优化 innodb_flush_log_at_trx_commit=0|1|2|3innodb事务日志相关配置； show variables like %innodb_log%;通用日志通用日志：记录对数据库的通用操作，包括错误的SQL语句通用日志可以保存在：file（默…...
2024/5/9 12:40:01
好的开始是成功的一半（第一周）
一、按系列罗列Linux的发行版，并描述不同发行版之间的联系与区别。Redhat，应该称为Redhat系列RHEL(Redhat Enterprise Linux，也就是所谓的Redhat Advance Server，收费版本。Fedora Core(由原来的Redhat桌面版本发展而来，免费版本)CentOS(RHEL的社区克隆版本，免费)。Redha…...
2024/5/7 20:25:06
Linux笔记13 Iptables与Firewalld防火墙。
配置网卡的4种方式 1、通过配置文件进行修改网卡vim /etc/sysconfig/network-script/ifcfg-eno…… 2、nmtui RHEL5 和 RHEL6系统中使用 setup 命令RHEL7 中使用 nmtui 命令 3、nm-connection-editor 4、通过鼠标点击通过以上任意一种方式配置网卡后执行重启网卡命令：systemc…...
2024/4/24 8:15:52
Linux初学-第一周作业
一、按系列罗列Linux的发行版，并描述不同发行版之间的联系与区别。1、红帽企业版（RHEL）：红帽公司是全球最大的开源技术厂商，RHEL是全世界内使用最广泛的Linux系统。RHEL系统具有极强的性能与稳定性。2、社区企业操作系统（CentOS）:通过吧RHEL系统重新编译并发布给用…...
2024/5/9 13:38:55
MySQL——主从复制，读写分离（实战！）
MySQL主从复制的类型基于语句的复制（默认）在主服务器上执行的语句，从服务器执行同样的语句基于行的复制把改变的内容复制到从服务器混合类型的复制一旦发现基于语句无法精确复制时，就会采用基于行的复制主从复制的工作过程MySQL读写分离原理读写分离就是只在主服务…...
2024/4/24 8:15:53
第3day操作系统安装说明
一、操作系统优势特点(Linux)1) 技术成熟，可靠性高 2) 极强的可伸缩性识别很多厂商硬件信息3) 强大的网络功能 4) 支持部署很多数据库程序 5) 强大的开发功能二、操作系统发展历史1969 Unix 贝尔实验室1986 Minix 教授谭邦宁1986…...
2024/4/24 8:15:50
第4day远程网络连接
一、网络配置信息说明确认网络是否正常确认网络连通性: ping 223.5.5.5 (TTL time)排查网络问题思路虚拟主机linux --> 网关(10.0.0.254) ---> windows主机 ---> 网关 ---> 互联网(网络设备) ---> 服务器主机(223.5.5.5) 1) 虚拟主机 --> 网关是否可以正…...
2024/4/24 8:15:50
系统安装和基础配置
2019年11月26日一、 Linux的特点技术成熟，可靠性高极强的可伸缩性强大的网络功能支持部署很多数据库程序强大的开发功能二、 Linux发展历史三、 Linux版本乌班图红帽 centos debian suse Fedora四、装系统修改网卡名称net.ifnames=0 biosdevname=0 系统网络和主机…...
2024/5/9 14:34:45
Linux基础命令
一、系统操作基础说明系统命令提示符是什么登录的用户名称主机名称路径信息命令语法说明命令空格参数空格对象系统目录结构相对路径：不从“/”开始的路径，从当前目录或指定的目录开始，例如data/,mnt/oldboy/绝对路径：从“/”根开始的路径，例如/data/,/mnt/oldboy二…...
2024/5/9 12:15:51
vi使用方法
编辑命令使用方法 vi/vim1) 编辑命令模式信息命令模式: 可以实现特殊功能操作编辑模式: 可以编辑文件内容信息底行模式: 可以输入特殊命令信息 wq q wq! q! 命令模式 -i-> 编辑模式 -esc-> 命令模式命令模式 -:-> 底行模式 -esc-> 命令模式 2) 命令…...
2024/5/9 13:36:32
总结Linux常用命令使用格式，并用实例说明
echo echo命令用于在shell中打印shell变量的值，或者直接输出指定的字符串。语法echo(选项)(参数)选项-e：激活转义字符。　使用-e选项时，若字符串中出现以下字符，则特别加以处理，而不会将它当成一般文字输出：\a 发出警告声；\b 删除前一个字符；\c 最后不加上换行符号；\f…...
2024/4/24 8:15:54
第一周作业链接
第一周作业链接1、按系列罗列Linux的发行版，并描述不同发行版之间的联系与区别。https://blog.51cto.com/14613575/24534622、安装Centos7.6操作系统，创建一个自己名字的用户名，并可以正常登录，将主要步骤截图。https://blog.51cto.com/14613575/24551073、配置环境变量，实…...
2024/4/18 18:55:46
学习Linux第十天
第六章收尾，软硬方式链接磁盘阵列 raid0、raid1、raid5、raid10...
2024/4/18 8:53:50
学习Linux第十一天
磁盘阵列修复、热备盘、LVM逻辑卷管理器部署、扩容、缩小、删除。LVM快照。...
2024/4/19 23:59:10
第一周作业
一、学习计划 1、在职阶段： 2019年12月2日至12月15日平均每天学习课程2-3节课，每天约2-3个小时。 2、待业学习阶段： 2019年12月16日至2020年1月19日，2020年2月28日至2020年2月14日，平均每天学习5节课，每天约7.5个小时，计划如下： 6:00：起床7:00：早饭8:00--9:30：第…...
2024/5/8 11:44:44
服务器硬件和centos7.6安装、快捷键的使用
一、服务器的主要硬件组成部分 1.cpuCPU的作用：主要有运算和控制功能关注信息点：路数和核数（路数就是服务器有几颗cpu；核数就是并行处理数据的能力） 2.内存内存的作用：临时存储数据缓解磁盘磁盘的压力，存储速度快相比磁盘关注信息点：缓冲和缓存（缓冲是写在内存的缓冲区…...
2024/4/15 6:51:30
Linux如何修改网卡的命名规则
记录时间状态备注2019-12-1 编撰待补充参考资料（前人的肩膀） http://benjr.tw/93340 先做（操作步骤） Centos7 1、编辑 /etc/default/grub 找到这行GRUB_CMDLINE_LINUX，添加net.ifnames=0，关闭net.ifnames的命名规则即可 2、编译启动配置文件 cp /boot/grub2/grub.cfg…...
2024/4/16 16:12:12

如何跨不同版本K8S，为有状态工作负载做蓝绿部署

相关文章

最新文章