OpenShift简介

日期	版本	作者
2019-12-20	V1	Andy_F（老范）

查看本文档需要具备容器及kubernetes相关知识

一，简介

众所周知，kubernetes作为容器编排系统的通用标准，它的出现促进了PaaS的飞速发展和企业PaaS的落地，OpenShift是红帽基于kubernetes推出的企业级PaaS平台，他提供了开箱即用的PaaS功能。

OpenShift因kubernetes而生，kubernetes因OpenShift走向企业级PaaS平台。在过去的时间里,红帽以及各大厂商为kubernetes提供了大量的代码,诸如google/redhat/华为/中兴/微软/vmware等。

kubernetes专注于容器的编排方面，而OpenShift基于kubernetes之上提供了整套的企业级PaaS所用到的功能，诸如管理员控制台（web化）/日志系统/入口流量（route）/镜像仓库/监控/持久存储/应用模板/CI CD/等...

kubernetes每年发布4个版本，而OpenShift则会选择当前最新版的上一个版本,以便报证企业级使用的稳定性

OpenShift还实现了对IaaS的管理能力,也就是说当OpenShift集群资源不足的情况下可以自动从IaaS中的机器资源里添加机器至OpenShift集群中。目前只支持对AWS EC2的管理。

二，概念

不完全统计,不包含kubernetes本身的一些组件概念

RHEL
```
# Red Hat Enterprise Linux 
```

RHCOS

# Red Hat Enterprise Linux CoreOS 
# 一种适用于容器运行环境的操作系统，一般简称CoreOS
# RedHat官方也建议将OpenShift部署到CoreOS之上,我们也可以使用RHEL来部署OpenShift work节点
# https://access.redhat.com/documentation/zh-cn/openshift_container_platform/4.2/html/architecture/architecture-rhcos#rhcos-about_architecture-rhcos

OCP

# OpenShift Container Platform(OpenShift容器平台)
# 一般人们更多时候习惯于将OpenShift称之为OCP

OKD
```
# OpenShift的社区版
```

ImageStream

# ImageStream是一类镜像的集合,镜像的tag则指向的是实际的镜像
# 假如说在OpenShift集群之外有一个镜像库,而OpenShift又想使用则可以将镜像导入到ImageStream中,在导入的时候加上--scheduled=true,则表示ImageStream会定期去原始仓库中检查镜像的更新
# 在deploy中使用ImageStream时,我们设置一个触发器，当镜像的tag发生变化时,触发器则会自动部署此镜像,此功能可以帮助我们实现在没有CI/CD的前提下自动部署。

Quay

# 企业级的镜像仓库,貌似需要授权

Operator

# OpenShift中管理有状态应用的生命周期组件

Router

# 负责提供外部访问OpenShift集群中的内部应用的能力,类似于ingress
# 实际是由一组HaProxy实现的,运行在OpenShift的Infra节点上的一组pod以hostnetwork的方式运行,可以提供HTTP/HTTPS/WebSockets/TLS with SNI协议的访问。

Infra节点

# 与Kubernetes的节点类型的不同之处便是OpenShift多了一种节点,就是Infra节点
# Infra节点主要是用于运行内部的镜像仓库/Router/EFK等
# Infra节点在OpenShift集群中不是必须的
# 所谓Infra节点就是node节点打上不同的标签后让ocp集成的一些如log，监控等应用跑在对应的节点上而已,这样的好处是在大规模使用时不会影响其他node的性能等.

bootstrap

# bootstrap节点主要是用于安装ocp的master节点,master节点安装完成后可删除此机器
# bootstrap必须运行在RHCOS之上

待续

三，架构

3.1，组件架构图

由于作者太懒了什么也没有

3.2，逻辑架构图

由于作者太懒了什么也没有

3.3，部署架构图

OpenShift简介

四，部署

ocp的安装部署方式有很多中模式,公有云安装跟私有云及裸机安装方法各不相同,其中公有云的安装最为简单

参考（https://cloud.redhat.com/openshift/install）,为了展示比较底层的安装方式,这里采用裸机的方式部署.

所谓裸机就是一台物理机或虚拟机没安装操作系统的机器,称之为裸机.

官方给出的节点最低配置建议

节点名称	OS	内存	cpu	磁盘
bootstrap	RHCOS	16GB	4C	120GB
master	RHCOS	16GB	4C	120GB
worker(node)	RHCOS/RHEL	8GB	4C	120GB

4.1,软件包下载

openshift的相关软件包下载需要有redhat官方网站的账号,请自行申请注册.注册好用户后到如下页面即可下载

https://cloud.redhat.com/openshift/install/metal/user-provisioned

# 需要下载三类文件
1.客户端工具及安装工具 ,文件下载链接如下
# kubectl及oc客户端工具
https://mirror.openshift.com/pub/openshift-v4/clients/ocp/latest/openshift-client-linux-4.2.14.tar.gz
# ocp安装工具,其实这个可以不用下载,因为底下会使用oc命令生成此工具
https://mirror.openshift.com/pub/openshift-v4/clients/ocp/latest/openshift-install-linux-4.2.14.tar.gz

2. Pull Secret 文件, 此文件是根据各自的redhat账号密码生成的访问redhat官方镜像仓库的密码文件
# 下载方式如下图

OpenShift简介

3.RHCOS相关的文件,如iso 各私有云平台的模板文件等,这里使用的裸机安装只需要两个文件即可
# 文件列表
https://mirror.openshift.com/pub/openshift-v4/dependencies/rhcos/4.2/latest/# 裸机部署时需要的文件如下
# coreos系统iso
https://mirror.openshift.com/pub/openshift-v4/dependencies/rhcos/4.2/latest/rhcos-4.2.0-x86_64-installer.iso# 如下两个文件选其一即可,如果是虚拟机下载bios那个就行,物理机则根据自己的主板情况选择,至于bios跟uefi的区别参考https://www.baidu.com
# 此文件是raw格式的磁盘文件,安装coreos的时候需要从http server上获取此文件,因此此文件需要上传至下面安装的http server的目录中
https://mirror.openshift.com/pub/openshift-v4/dependencies/rhcos/4.2/latest/rhcos-4.2.0-x86_64-metal-bios.raw.gz
https://mirror.openshift.com/pub/openshift-v4/dependencies/rhcos/4.2/latest/rhcos-4.2.0-x86_64-metal-uefi.raw.gz

# 如上所列的三类文件用迅雷下载到本机,底下安装的时候在某台主机上用到某个文件时自行上传

4.2,受限的网络中安装--裸机部署

所谓受限的网络就是服务器无法访问互联网或无法访问redhat官网的网络.

根据官方说明,registry机器必须是要能有访问互联网权限的,其他节点可不用互联网权限

Node	hostname	IP	OS	Role
bastion host	bastion.ocp1.abc.cn	10.57.1.230	CentOS/RHEL 7	http dns registry ssh跳板机
bootstrap	bootstrap.ocp1.abc.cn	10.57.1.229	CoreOS
vip		10.57.1.233
lb-1	lb-1.ocp1.abc.cn	10.57.1.231	CentOS/RHEL 7	haproxy keepalived
lb-2	lb-2.ocp1.abc.cn	10.57.1.232	CentOS/RHEL 7	haproxy keepalived
master-1	master-1.ocp1.abc.cn	10.57.1.221	CoreOS
master-1	master-2.ocp1.abc.cn	10.57.1.222	CoreOS
master-1	master-3.ocp1.abc.cn	10.57.1.223	CoreOS
worker-1	node-1.ocp1.abc.cn	10.57.1.241	CoreOS
worker-2	node-2.ocp1.abc.cn	10.57.1.242	CoreOS
storage	.....	.....	.....	.....

在开始安装ocp之前的准备工作

官方下载ocp所需程序包

配置HTTP服务器

# 上面列举需要下载的ocp安装包等其他文件需要放置到此服务器上
# 提供http方式下载,安装过程会用到
# 提供其他机器的yum源服务
# 如果企业内部有yum服务器则可以共用

配置 DNS服务器

# 这里dns有如下几个作用
1,解析ocp各节点所用主机名
2,转发子域名给ocp的paas平台使用
3,解析ocp所需其他域名
# 一般情况下此处解析操作是在各自公司内网的dns上做解析操作
# 这里使用dnsmasq来充当内网dns服务器,如果各位公司使用的bind或其他则可免去安装步骤只参考解析记录

配置ocp的registry

# 由于我们是模拟受限的网络中安装,所以需要提前准备
# 但registry主机是需要连网的,因为registry需要去红帽官方的仓库同步镜像

配置 DHCP

# 由于ocp的coreos在安装的时候需要设置一些内核参数,而这些内核参数可以通过dhcp及pxe传递
# 本环境中不用配置dhcp即可,手动指定IP及内核参数

提供所需的负载均衡器

# haproxy代理bootstrap及master节点的6443及22623端口
# 待master节点安装完毕则从haproxy的代理列表里删除bootstrap的节点IP
# 代理router的80 及443端口
# 4层代理

配置机器的端口防火墙策略

# 如果各机器之间的端口可随意访问则不用考虑此步

4.2.1,安装http服务

for bastion

# 安装nginx或apache提供http下载服务
yum install epel-release -y
yum install nginx -y
# 配置nginx
vim /etc/nginx/nginx.conf
...root         /data/soft_repository;autoindex       on;
...# 启动nginx
systemctl start nginx
systemctl enable nginx

# 创建目录
mkdir -p /data/soft_repository/ocp
# 目录创建好后,请将上面下载好的rhcos-4.2.0-x86_64-metal-bios.raw.gz或rhcos-4.2.0-x86_64-metal-uefi.raw.gz文件上传至此目录
# 后续的安装过程中还会生成一些文件,也需要copy至此目录下,见下面的步骤
mkdir /data/soft_repository/ocp/igns

####　4.2.2,安装配置dns

for bastion

# 这里采用dnsmasq,当然你可以使用任意的dns软件,或者在现有网络中的dns服务器上添加相关解析也可以
yum install dnsmasq -y
vim /etc/dnsmasq.conf
conf-dir=/etc/dnsmasq.d/,*.conf
resolv-file=/etc/upstream_dns.conf
# end# 配置上游dns服务器IP,可设置为局域网内dns服务器的IP或互联网的dns服务器IP
vim /etc/upstream_dns.conf
nameserver 10.57.1.8# 启动dns服务
systemctl start dnsmasq
systemctl enable dnsmasq

# 修改自身dns服务器 为本机
vim /etc/resolv.conf
nameserver 127.0.0.1

# 添加ocp的解析记录,官方参考链接
# https://access.redhat.com/documentation/en-us/openshift_container_platform/4.2/html/installing_on_bare_metal/installing-on-bare-metal#installation-requirements-user-infra_installing-bare-metal# ocp的域名规则如下
# xxx.集群名称.域名
# 同一个网络下的每个集群都需要起一个独一无二的名称,这里叫做ocp1 域名为abc.cnvim /etc/dnsmasq.d/abc.cn.conf
# hostname
address=/bootstrap.ocp1.abc.cn/10.57.1.229address=/master-1.ocp1.abc.cn/10.57.1.221
address=/master-2.ocp1.abc.cn/10.57.1.222
address=/master-3.ocp1.abc.cn/10.57.1.223
address=/node-1.ocp1.abc.cn/10.57.1.241
address=/node-2.ocp1.abc.cn/10.57.1.242address=/lb-1.ocp1.abc.cn/10.57.1.231
address=/lb-2.ocp1.abc.cn/10.57.1.232address=/bastion.ocp1.abc.cn/10.57.1.230# yum and registry server
address=/reg.ocp1.abc.cn/10.57.1.230
address=/yum.ocp1.abc.cn/10.57.1.230# lb
address=/api.ocp1.abc.cn/10.57.1.233
address=/api-int.ocp1.abc.cn/10.57.1.233# router
address=/.apps.ocp1.abc.cn/10.57.1.233
address=/.apps.ocp1.abc.cn/10.57.1.233# etcd,ocp默认自动发现etcd主机的标号是从0开始的
address=/etcd-0.ocp1.abc.cn/10.57.1.221
address=/etcd-1.ocp1.abc.cn/10.57.1.222 
address=/etcd-2.ocp1.abc.cn/10.57.1.223# etcd SRV
srv-host=_etcd-server-ssl._tcp.ocp1.abc.cn,etcd-0.ocp1.abc.cn.,2380,0,10
srv-host=_etcd-server-ssl._tcp.ocp1.abc.cn,etcd-1.ocp1.abc.cn.,2380,0,10
srv-host=_etcd-server-ssl._tcp.ocp1.abc.cn,etcd-2.ocp1.abc.cn.,2380,0,10
# end

# 重启dnsmasq
systemctl restart dnsmasq# 测试解析是否有正常
nslookup aa.apps.ocp1.abc.cn

4.2.3,安装registry

for bastion

这个registry主要是用于安装ocp时使用的

# 安装客户端工具
tar xvf openshift-client-linux-4.2.14.tar.gz 
mv oc kubectl /usr/bin/

# 安装podman及httpd-tools,podman容器引擎跟docker类似
yum -y install podman httpd-tools

# 创建相关目录
mkdir -p /opt/registry/{auth,certs,data}

# 为 registry 提供证书,如果您没有现有的可信证书颁发机构，你可以如下生成自签名证书
cd /opt/registry/certs
openssl req -newkey rsa:4096 -nodes -sha256 -keyout domain.key \
-x509 -days 3650 -out domain.crt \
-subj "/C=CN/ST=GD/L=SZ/O=ocp/OU=IT/CN=reg.ocp1.abc.cn"

# 为 registry 生成使用 bcrpt 格式的用户名和密码
htpasswd -bBc /opt/registry/auth/htpasswd admin redhat

# 启动mirror-registry容器,官方默认的启动参数中没有将容器工作在后台,所以这里加了个-d
podman run --name mirror-registry -d -p 5000:5000 \-v /opt/registry/data:/var/lib/registry:z \-v /opt/registry/auth:/auth:z \-e "REGISTRY_AUTH=htpasswd" \-e "REGISTRY_AUTH_HTPASSWD_REALM=Registry Realm" \-e REGISTRY_AUTH_HTPASSWD_PATH=/auth/htpasswd \-v /opt/registry/certs:/certs:z \-e REGISTRY_HTTP_TLS_CERTIFICATE=/certs/domain.crt \-e REGISTRY_HTTP_TLS_KEY=/certs/domain.key \docker.io/library/registry:2

# 将私签的证书添加到系统ca信任列表里
cp /opt/registry/certs/domain.crt /etc/pki/ca-trust/source/anchors/
update-ca-trust

# 验证是否安装成功
# 查看端口5000端口是否监听
netstat -tnlp | grep 5000
# 如果端口已监听则访问下
curl -u admin:redhat -k https://reg.ocp1.abc.cn:5000/v2/_catalog
# 显示如下信息则表示正常
{"repositories":[]}

# 为你的镜像 registry 创建 pull secret
podman login --authfile ~/local_pull_secret.json -u admin -p redhat reg.ocp1.abc.cn:5000
# 输入上面用htpasswd生成的用户名密码cat ~/local_pull_secret.json
# 此文件后面会用到

# 合并官网下载的Pull Secret文件及local_pull_secret.json
# 将两个文件合并为1个,json格式,注意格式
# 合并后的文件内容如下
cat pull_secret.json
{"auths": {# 这段内容是上面我们自己生成的"reg.ocp1.abc.cn:5000": {"auth": "YWRtaW46cmVkaGF0"},# end"cloud.openshift.com": {"auth": "xxxxxxxxxxxxxxxxxxxxxxx","email": "rg_fan@163.com"},"quay.io": {"auth": "xxxxxxxxxxxxxxxxxxxxxxx","email": "rg_fan@163.com"},"registry.connect.redhat.com": {"auth": "xxxxxxxxxxxxxxxxxxxxxxx","email": "rg_fan@163.com"},"registry.redhat.io": {"auth": "xxxxxxxxxxxxxxxxxxxxxxx","email": "rg_fan@163.com"}}
}# 这里简单说明下此文件的作用
# 作用主要是针对红帽官方的registry及我们本地的registry在pull/push镜像时做身份认证使用的

# 接下来同步红帽官方的registry跟ocp相关的镜像到本地的registry中
# 首先设置几个环境变量,这几个环境变量没别的意思,只是为了替换命令中的参数
# 参见 https://access.redhat.com/documentation/zh-cn/openshift_container_platform/4.2/html/installing/installing-restricted-networks-preparations#installation-mirror-repository_installing-restricted-networks-preparations
export OCP_RELEASE=4.2.0
export LOCAL_REGISTRY='reg.ocp1.abc.cn:5000'
export LOCAL_REPOSITORY='ocp4/openshift4'
export PRODUCT_REPO='openshift-release-dev'
# 底下这个简单说明下,就是我们合并后的认证文件
export LOCAL_SECRET_JSON='/root/pull_secret.json'
export RELEASE_NAME="ocp-release"# 执行同步命令
oc adm -a ${LOCAL_SECRET_JSON} release mirror \--from=quay.io/${PRODUCT_REPO}/${RELEASE_NAME}:${OCP_RELEASE} \--to=${LOCAL_REGISTRY}/${LOCAL_REPOSITORY} \--to-release-image=${LOCAL_REGISTRY}/${LOCAL_REPOSITORY}:${OCP_RELEASE}
# 同步会比较慢,如果有代理的话 设置个系统全局代理会稍微快一点.
# 如果中间有网络错误 从新执行下即可
# 执行成功后会输出如下内容,Success以下的信息续保存起来后面会有用
...
...
Success
Update image:  reg.ocp1.abc.cn:5000/ocp4/openshift4:4.2.0
Mirror prefix: reg.ocp1.abc.cn:5000/ocp4/openshift4To use the new mirrored repository to install, add the following section to the install-config.yaml:imageContentSources:
- mirrors:- reg.ocp1.abc.cn:5000/ocp4/openshift4source: quay.io/openshift-release-dev/ocp-release
- mirrors:- reg.ocp1.abc.cn:5000/ocp4/openshift4source: quay.io/openshift-release-dev/ocp-v4.0-art-devTo use the new mirrored repository for upgrades, use the following to create an ImageContentSourcePolicy:apiVersion: operator.openshift.io/v1alpha1
kind: ImageContentSourcePolicy
metadata:name: example
spec:repositoryDigestMirrors:- mirrors:- reg.abc.cn:5000/ocp4/openshift4source: quay.io/openshift-release-dev/ocp-release- mirrors:- reg.abc.cn:5000/ocp4/openshift4source: quay.io/openshift-release-dev/ocp-v4.0-art-dev

# 生成基于我们设定的参数生成基于当前版本的openshift-install命令,其中包含如下参数
# 过程比较漫长，当然也可以用上面直接下载的openshift-install
oc adm release extract --command=openshift-install \
--registry-config='/root/pull_secret.json' \
"${LOCAL_REGISTRY}/${LOCAL_REPOSITORY}:${OCP_RELEASE}"
mv openshift-install /usr/bin

4.2.4,安装lb

for lb-1 lb-2

# 为 bootstrap节点及master节点的6443端口做负载均衡
# 为 bootstrap节点及master节点的22623端口做负载均衡
# 为router的443及80端口做负载均衡,后端地址默认为所有的node节点,当然也可以更改router的标签选择器让其工作在某几个节点,这样方便控制

# 安装haproxy + keepalived 
yum install haproxy keepalived -y

# 配置haproxy
# 两节点配置一致
vim /etc/haproxy/haproxy.cfg 
# 内容如下
globallog         127.0.0.1 local2chroot      /var/lib/haproxypidfile     /var/run/haproxy.pidmaxconn     65535nbthread    6user        haproxygroup       haproxydaemonstats socket /var/lib/haproxy/stats
defaultsmode                    httplog                     globaloption                  httplogoption                  dontlognulloption http-server-closeoption forwardfor       except 127.0.0.0/8option                  redispatchretries                 3timeout http-request    10stimeout queue           1mtimeout connect         10stimeout client          1mtimeout server          1mtimeout http-keep-alive 10stimeout check           10smaxconn                 3000listen admin_statsstats   enablebind    *:888mode    httpoption  httploglog     globalmaxconn 10stats   refresh 30sstats   uri /statusstats   realm haproxystats   auth admin:adminstats   hide-version#    stats   admin if TRUElisten apiserverbind 0.0.0.0:6443mode tcpserver bootstrap 10.57.1.229:6443 checkserver master1 10.57.1.221:6443 checkserver master-2 10.57.1.223:6443 checkserver master-3 10.57.1.223:6443 checklisten Host_Conf_Serverbind 0.0.0.0:22623mode tcpserver bootstrap 10.57.1.229:22623 checkserver master1 10.57.1.221:22623 checkserver master-2 10.57.1.223:22623 checkserver master-3 10.57.1.223:22623 checklisten router_httpbind 0.0.0.0:80mode tcpserver router-1 10.57.1.241:80 checkserver router-2 10.57.1.242:80 checklisten router_httpsbind 0.0.0.0:443mode tcpserver router-1 10.57.1.241:443 checkserver router-2 10.57.1.242:443 check
# end 保存退出# 启动haproxy
systemctl start haproxy
systemctl enable haproxy
# 查看是否正常
netstat -tnlp | grep haproxy

# 配置keepalived master to lb1
vim /etc/keepalived/keepalived.conf 
# 内容如下,直接删除原内容 替换如下即可
global_defs {router_id 202
}vrrp_script check_haproxy {script "killall -0 haproxy"interval 3fall 5rise 10
}vrrp_instance haproxy {state MASTERpriority 200interface eth0virtual_router_id 52advert_int 1authentication {auth_type PASSauth_pass password}virtual_ipaddress {10.57.1.233}track_script {check_haproxy}
}
# end# 启动keepalivrd
systemctl start keepalived
systemctl enable keepalived

# 配置keepalived master to lb2
vim /etc/keepalived/keepalived.conf 
# 内容如下,直接删除原内容 替换如下即可
global_defs {router_id 202
}vrrp_script check_haproxy {script "killall -0 haproxy"interval 3fall 5rise 10
}vrrp_instance haproxy {state BACKUPpriority 200interface eth0virtual_router_id 52advert_int 1authentication {auth_type PASSauth_pass password}virtual_ipaddress {10.57.1.233}track_script {check_haproxy}
}
# end# 启动keepalivrd
systemctl start keepalived
systemctl enable keepalived

4.2.5, 创建ssh秘钥

for bastion

#
ssh-keygen -t rsa -b 4096 -N '' -f ~/.ssh/id_rsa
eval "$(ssh-agent -s)"
ssh-add ~/.ssh/id_rsa

4.2.6,创建并生成安装ocp的配置文件

## 准备配置文件
# 参考 https://access.redhat.com/documentation/zh-cn/openshift_container_platform/4.2/html/installing_on_bare_metal/installing-restricted-networks-bare-metal#installation-initializing-manual_installing-restricted-networks-bare-metal
mkdir /root/ocp1
vim /root/ocp1/install-config.yaml
# 内容参考如上链接
apiVersion: v1
baseDomain: abc.cn
compute:
- hyperthreading: Enabledname: workerreplicas: 0
controlPlane:hyperthreading: Enabledname: masterreplicas: 3
metadata:name: ocp1
networking:clusterNetwork:- cidr: 10.128.0.0/14hostPrefix: 23networkType: OpenShiftSDNserviceNetwork:- 172.30.0.0/16
platform:none: {}
# pullSecret的值只需提供本地registry的认证信息,如上我们生成的~/local_pull_secret.json的所有内容
pullSecret: '{"auths": {"reg.abc.cn:5000": {"auth": "YWRtaW46cmVkaGF0"}}}'
# sshKey的值为cat ~/.ssh/id_rsa.pub
sshKey: 'ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAACAQCcWt4hlgbZIW0kP+Jv+Ru63XiOwfRFWq1itHsWspdHLK+chmdSA2Ye5b7xMqoiyEDl2hpwmRB1O65hU1pEIur9+jfqkzxFO6Bl7G/NRw6RLUMFk+IN3d3HLEErQvIiuaL5zyWUTcY9pr4TcYwdWQd4ie2Z/EeWF4j1HU35RKj5eFPrGyyUTKJRwH0bh+dKgmddjgu/WqVAwDMuQHloQBfuPYn6mZv1oj9JFJaJ2HhCVcWdAylZ0WjBxbtSukZ4fjODfHvJDpHQVBHKwqOxUzrCURanAC2V7LVbcfTOV/arBRcaN8yLai2Q+mUZHaL0u5IPTSbw4nO5lcxN5hA9m5PAI6Z8WL6jkOAjSb4CfJ/oJNbP855+qyD8rjIo27OMrVyRmQUyf4JOM4KojwZPHNsKv7Sl9gndLw9s7PjrKnLjZ23lnhaO8PGoVdV0e2dbHyyc4VH/tLFwJ3i4ic2toIz68fYuhyoenv71uHuyQDD4c4tcaf/5nzIv3UkYX8wY4WD2hypDgo2TJ9/1Mm4ovVJ+xux4wQpX/vYCeNp18uMoOrD4SL0XPHHh5JBS7rzoVB7ynNCbC/srMKwhfiQwfc+W5Yz7RNh7QZ3Z2GHq+XMSL8a/DEyPgRJliMNTWwc11i3BUxsLxg8grv/7Dl1Eg7rKKyv+s1Vo0srvREYx3Jz3+Q== root@localhost.localdomain'
# additionalTrustBundle的值为cat /opt/registry/certs/domain.crt ,注意格式,有两个空格
additionalTrustBundle: |-----BEGIN CERTIFICATE-----MIIF7zCCA9egAwIBAgIJAMd/rAtRbiZyMA0GCSqGSIb3DQEBCwUAMIGNMQswCQYDVQQGEwJDTjESMBAGA1UECAwJR3VhbmdEb25nMREwDwYDVQQHDAhTaGVuWmhlbjEQMA4GA1UECgwHY2xvdWRvczEPMA0GA1UECwwGc3lzdGVtMRUwEwYDVQQDDAxyZWcudGVzdC5jb20xHTAbBgkqhkiG9w0BCQEWDnJnX2ZhbkAxNjMuY29tMB4XDTE5MTIyNDAyMjc1MloXDTI5MTIyMTAyMjc1MlowgY0xCzAJBgNVBAYTAkNOMRIwEAYDVQQIDAlHdWFuZ0RvbmcxETAPBgNVBAcMCFNoZW5aaGVuMRAwDgYDVQQKDAdjbG91ZG9zMQ8wDQYDVQQLDAZzeXN0ZW0xFTATBgNVBAMMDHJlZy50ZXN0LmNvbTEdMBsGCSqGSIb3DQEJARYOcmdfZmFuQDE2My5jb20wggIiMA0GCSqGSIb3DQEBAQUAA4ICDwAwggIKAoICAQDgz7e9acoDWBl+Xlkd6+QJBlpy+rCeHbDhNmsWV33TC+jxj0ltM65I5qCudG/sy6H/A4nSupQJJYk+9EPZ++doMy4cQLvxiLeNAQEOCxrQzdYIXKCV6mBedWvHVoID+u7w/gNSJLr19qLUqdshN/lpzuAOHKS+OqILkoiEqWblBf/JA8iE4Ey0TTaHyHmc22x36T2ivlucdinksbxCfZsUj2rKiGO695Uf65XRlFn+9Qvn5ZWVmNqBqp6dre4WJTZQmhpG9LU5TjlbyrxFdCntzL9i9Ie+n2PxatpN8OdDnBwXJ341OO6MMXCZRxqf3e5cMcDEZzRUUbo5/jnSc5CJS53b4bdj3LvmyZU6kk9yNK6olcX49rfHHCvm6PwjrJf0QOUoMcbY8zGPauhPTCIQHMIPZcLhCoSJm6OLTpvCD0mHX75OPMbELKE4yHh0l8sqaaA/hD45aLR35lVIDNV2oxnT+yFAavg/IsTAAe+Dwyswo14K0+RESp/HuiNpr59LCd2Jj32ieKOWbzklnRN62TQa/sRNUJaEs3iTxITBuP/BK9XIBAslwclCiqHUh7Hn1wuyjD6eF3r6zPJ+hc8V8pmFhtQnjSOmusg5ANZLllMwE+90FgLUQBiLuo4+mBX40ty5ehSnEwOx71hloF69NsV0hzJ4ZLt/gtfX9UxgYwIDAQABo1AwTjAdBgNVHQ4EFgQUSgW8dfJbQnUVHsptEGdSx3lW7vQwHwYDVR0jBBgwFoAUSgW8dfJbQnUVHsptEGdSx3lW7vQwDAYDVR0TBAUwAwEB/zANBgkqhkiG9w0BAQsFAAOCAgEAJnUoZim++d7cO3ba1dD1lVLVQOSFiAGQRRH6FboYNtl02KNfely9pqeEqtPunUHdIUWAdEzfrKmO1CUSC8amfIAmTriVPPsjOMRGHHt/ONh6PbbVQKknyM9vxjh/fhHuyfTpdvmYAr4qOTeuHBRXJVR6RTPVX9MPFje5Eeq5pCum5kSiUJ7cZ7f9104d+QcwZbEtXsui7zIsImiqaPJuOtAld5vATMy/rWWVoBVsBmLRv28TiNDVCq3luO5z+g9wdr7qi0u9bSsckNVTVmjx3H9ss1uxc4KETxF+2nIXvGU6o6e8JnwzuJ+lnw2/a2gwhBFFahqADfsQSB5cyLdc2yrBXE3WJ7lIt6VTb/orSNXa8gKF8tZmadSJMQRmGS+jKZ00A5FERQ8jps2P9yhjEvbIi0oFIl5i1/E5YK4CPiWr5iecSW+Vs/sz47a35v1MLh/PyBlxYyuu7GvsFV9qp5pxE+2M/MOVLVVi3xguUXsCPfEJ7nSYczH48nOMAgWSSWqyZnK7SkuKKwGWXxpNRi4pYPMmOVUEdSt6gqzt39S9NS2+S3LVwcS2f6vntwW6sWEvKH3k9AQ7za78FCPkTyAKFNgN2EolXUmdgEwXwp/F2MELl3DxYagbivWU5wu9k+Gid2Zs7ZqTEMQ1IKxmxnmJoGowx1ylMXm30D7grHc=-----END CERTIFICATE-----
# 如下信息直接替换 如上同步redhat官方registry到本地registry的输出内容里,找到这段直接替换以下所有内容
imageContentSources:
- mirrors:- reg.ocp1.abc.cn:5000/ocp4/openshift4source: quay.io/openshift-release-dev/ocp-release
- mirrors:- reg.ocp1.abc.cn:5000/ocp4/openshift4source: quay.io/openshift-release-dev/ocp-v4.0-art-dev

# 生成kubernetes集群的manfests
openshift-install create manifests --dir=/root/ocp1# 修改scheduler的配置清单,让其不往master节点上调度pod
vim /root/ocp1/manifests/cluster-scheduler-02-config.yml
# 其他不变只修改如下即可mastersSchedulable: False

# 生成ignition文件
openshift-install create ignition-configs --dir=/root/ocp1
ls /root/ocp1

# 为每个ocp节点生成单独的ignition文件
# 下载处理工具
wget https://raw.githubusercontent.com/ashcrow/filetranspiler/master/filetranspile
mv filetranspile /usr/bin
chmod a+x /usr/bin/filetranspile
# 安装工具依赖
yum install python3
pip3 install pyyamlcd /root/ocp1
# 创建各节点 生成ignition文件的工作目录，有几个节点创建几个
mkdir {bootstrap,master-1,master-2,master-3,node-1,node-2}
# 创建子目录
for i in bootstrap master-1 master-2 master-3 node-1 node-2;domkdir -p $i/etc/sysconfig/network-scripts
done
# 如下创建的文件所有目录都一样,自行处理下,内容根据各节点变动下即可,这里只示例bootstrap节点的配置
vim master-1/etc/chrony.conf
# 如果内网没ntp服务器则可以写互联网的,如果机器不能联网则自行搭建时间服务器
server 10.57.1.8 iburst
stratumweight 0
driftfile /var/lib/chrony/drift
rtcsync
makestep 10 3
local stratum 10
bindcmdaddress 0.0.0.0
keyfile /etc/chrony.keys
noclientlog
logchange 0.5
stratumweight 0.05
logdir /var/log/chrony# 主机名
echo "master-1.ocp1.abc.cn" > master-1/etc/hostname# dns配置
vim master-1/etc/resolv.conf
search abc.cn ocp1.abc.cn
nameserver 10.57.1.230# 网卡配置，coreos一般识别到的网卡名称为ens3或ens192,如果不确定的话可自行安装一个coreos 查看下
vim master-1/etc/sysconfig/network-scripts/ifcfg-ens3
NAME=ens3
DEVICE=ens3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
IPADDR=10.57.1.229
NETMASK=255.255.255.0
GATEWAY=10.57.1.254
DNS1=10.57.1.230
DOMAIN=abc.com
PREFIX=22
DEFROUTE=yes
IPV6INIT=no# 生成各节点的ignition文件
filetranspile -i bootstrap.ign -f bootstrap -o bootstrap-static.ign
filetranspile -i master.ign -f master-1 -o master-1.ign
filetranspile -i master.ign -f master-2 -o master-2.ign
filetranspile -i master.ign -f master-3 -o master-3.ign
filetranspile -i worker.ign -f node-1 -o node-1.ign
filetranspile -i worker.ign -f node-2 -o node-2.ign

# 将上面生成好的ignition文件copy至http服务器的目录中提供http下载，目录之前创建好的为/data/soft_repository/ocp/igns
cp -avf bootstrap-static.ign /data/soft_repository/ocp/igns/
cp -avf master-1.ign /data/soft_repository/ocp/igns/
cp -avf master-2.ign /data/soft_repository/ocp/igns/
cp -avf master-3.ign /data/soft_repository/ocp/igns/
cp -avf node-1.ign /data/soft_repository/ocp/igns/
cp -avf node-2.ign /data/soft_repository/ocp/igns/

4.2.7,安装bootstrap节点

接下来即将进入一个重要的一个环节,在裸机上安装 bootstrap节点

# rhcos-4.2.0-x86_64-installer.iso 安装系统的iso文件,在官网下载的
# 裸机是没有安装任何操作系统的服务器或虚拟机
# 如果是物理服务器的话就需要将如上iso文件刻录成光盘或者制作成可引导的usb设备
# 如果是kvm或vmware等虚拟机 则需要将如上iso文件上传到目标服务器的一个可被虚拟化软件识别的一个目录中,将其添加到虚拟机的虚拟光驱中,从而引导安装系统
# 如果是公有云或是私有云 则续把如上iso文件根据云平台要求创建iso模板或是怎样. 添加到云主机的虚拟光驱中去,而后引导安装系统
# 开始安装,安装过程中会对安装过程的内核参数进行修改,如下
# 根据各自的主机类型参照如上几种方法的提前准备iso文件及机器配置
# 这里使用的是虚拟机
# 添加虚拟机
# 设置虚拟机名称
# 设置内存大小,参考开头官方建议的配置
# 设置CPU核数
# 设置网络
# 添加光驱设备并关联iso
# 等等..
# 如上的步骤仅供参考
# 启动机器,到虚拟机控制台
# 看到Install RHEL CoreOS界面时,按tab键 进行内核参数修改
# tab后 直接在后面添加如下内容
# 如下内容在往控制台写的时候 要写为1行内容 用空格分开,这里是为了直观
# 切勿输入错误,如果错误重启重新输入吧
# 如果不确定磁盘是sda还是vda则安装一个系统看看即可
coreos.inst.install_dev=sda
coreos.inst.image_url=http://yum.ocp1.abc.cn/ocp/rhcos-4.2.0-x86_64-metal-bios.raw.gz 
coreos.inst.ignition_url=http://yum.ocp1.abc.cn/ocp/igns/bootstrap-static.ign
ip=10.57.1.229::10.57.1.254:255.255.255.0:bootstrap.ocp1.abc.cn::none 
nameserver=10.57.1.230
# 确认无误则回车
# 如果上述内容没有输入错误的话基本没有问题,安装好后会到登录界面,官方未提供账号密码的登录方式
# 需要到堡垒机上登录,上面我们创建的ssh的密钥,已经注入到ignition文件中,所以安装好直接可用用ssh密钥登录
# 在堡垒机登录 bootstrap节点,用户名为core
ssh core@bootstrap.ocp1.abc.cn
# 验证设置的IP及主机名和dns是否对称
...# 查看6443及22623端口是否监听
netstat -tnlp# 验证 bootstrap节点是否安装成功
sudo podman ps 
# 是否有etcd的容器# 查看bootkube的启动日志,此命令不要关闭.后续安装master节点时的log都会在此打印出来
journalctl -b -f -u bootkube.service

4.2.8,安装master节点

# master节点也是裸机的方式,安装rhcos
# 创建所有master节点的虚拟机相关配置添加rhcos iso镜像到虚拟光驱
# 启动虚拟机
# 内核参数修改的内容与 bootstrap节点基本一致
# 其他master节点只需修改IP地址及主机名和ignition即可,这里只展示master-1节点的配置
coreos.inst.install_dev=sda
coreos.inst.image_url=http://yum.ocp1.abc.cn/ocp/rhcos-4.2.0-x86_64-metal-bios.raw.gz 
coreos.inst.ignition_url=http://yum.ocp1.abc.cn/ocp/igns/master-1.ign
ip=10.57.1.221::10.57.1.254:255.255.255.0:master-1.ocp1.abc.cn::none 
nameserver=10.57.1.230
# 确认无误则回车
# 需要注意的是 master节点安装好启动成功后过一会会再此重启
...
# 继续安装master-2 master-3# master节点都安装好后
# 在bootstrap节点上执行的journalctl -b -f -u bootkube.service  查看部署过程,发现有如下信息时即表明master节点已经部署成功,
# 接下来 bootstrap节点已经没有任何用处了.删除即可,以及在haproxy的配置文件中删除 bootstrap的后端
Dec 26 03:23:50 bootstrap.ocp1.abc.cn bootkube.sh[1629]: Tearing down temporary bootstrap control plane...
Dec 26 03:23:50 bootstrap.ocp1.abc.cn bootkube.sh[1629]: bootkube.service complete# 看到如上信息后在跳板机上执行,如下命令
openshift-install --dir=/root/ocp1 wait-for bootstrap-complete --log-level=debug

4.2.9,安装node节点

coreos.inst.install_dev=sda
coreos.inst.image_url=http://yum.ocp1.abc.cn/ocp/rhcos-4.2.0-x86_64-metal-bios.raw.gz 
coreos.inst.ignition_url=http://yum.ocp1.abc.cn/ocp/igns/node-1.ign
ip=10.57.1.241::10.57.1.254:255.255.255.0:master-1.ocp1.abc.cn::none 
nameserver=10.57.1.230
# 确认无误则回车
# 所以node节点安装成功后如下操作# 在堡垒机上添加oc及kubectl客户的配置文件
export KUBECONFIG=/root/ocp1/auth/kubeconfig
# node节点都部署完成后手动批准下node节点的kubelet证书
oc get csr 
# 查看到Pending状态的通过如下命令批准下
oc adm certificate approve xxxxxxx
# 快捷的批量批准方式
for i in `oc get csr|grep Pending| awk '{print $1}'`;do oc adm certificate approve $i;done

4.2.10,收尾工作

# 查看集群operators 状态
oc get clusteroperators
# 等待全部为True
# image-registry 为False是因为存储的原因,修改下存储卷类型即可 
# 这里只是用的本地目录作为存储卷使用,实际环境需要NAS或分布式文件系统分配pv pvc
oc patch configs.imageregistry.operator.openshift.io cluster --type merge --patch '{"spec":{"storage":{"emptyDir":{}}}}'# 等待所有都为True后执行
openshift-install --dir=/root/ocp1  wait-for install-complete
...
INFO To access the cluster as the system:admin user when using 'oc', run 'export KUBECONFIG=/root/ocp1_ignition/auth/kubeconfig' 
INFO Access the OpenShift web-console here: https://console-openshift-console.apps.ocp1.abc.cn 
INFO Login to the console with user: kubeadmin, password: NofHz-RWRfP-em9sW-RI7Zb 
# 提示已经安装成功,控制台链接如上所示,登录的用户名密码也如上所示 kubeadmin/NofHz-RWRfP-em9sW-RI7Zb  保存起来
# web控制台域名为 https://console-openshift-console.apps.ocp1.abc.cn
# 需要访问的主机需要能够解析此域名

查看全文
如若内容造成侵权/违法违规/事实不符，请联系编程学习网邮箱：809451989@qq.com进行投诉反馈，一经查实，立即删除！

使用runc来启动容器
runc简介 RunC 是一个轻量级的工具，它是用来运行容器的，只用来做这一件事，并且这一件事要做好。我们可以认为它就是个命令行小工具，可以不用通过 docker 引擎，直接运行容器。事实上，runC 是标准化的产物，它根据 OCI 标准来创建和运行容器。而 OCI(Open Container …...
2024/4/24 8:37:59
Kubernetes 1.13二进制部署集群
官方提供的几种Kubernetes部署方式方式一：minikube Minikube是一个工具，可以在本地快速运行一个单点的Kubernetes，尝试Kubernetes或日常开发的用户使用。不能用于生产环境。官方地址：https://kubernetes.io/docs/setup/minikube/ 方式二：kubeadm Kubeadm也是一个工具，提…...
2024/4/24 8:37:59
CentOS7.3学习笔记总结（二）
1.1、修改时区、时间在安装的时候如果选择中文安装，默认就是中国上海的时区，当然也可以在安装的时候调整，如果没有调整，我们现在说以下调整方法：查看当前时区的命令：timedatectl|grep "Time zone"显示内容：Time zone: Asia/Shanghai (CST, +0800)通过命令修改…...
2024/5/8 18:34:33
Linux挂载点介绍
把Linux系统常用的各挂载点整理成表格，方便大家查阅！如果图片看不清楚，可以下载到本地：链接: https://pan.baidu.com/s/1N2ZWtINC1DXZnWv9-EObOQ 提取码: prct 后记：其实，Linux的目录结构并不是一定要死死按照这个结构来，只不过是一个最佳实践和推荐！毕竟Linux是一个…...
2024/4/19 4:37:35
kubernetes的 secret 存储配置
kubernetes的 secret 存储配置标签（空格分隔）： kubernetes系列一： kubernetes的 secret 存储配置一： kubernetes的 secret 存储配置 1.1 Secret 存在意义 Secret 解决了密码、token、密钥等敏感数据的配置问题，而不需要把这些敏感数据暴露到镜像或者 Pod Spec 中。Secre…...
2024/4/16 14:35:46
MACOS上碰到 IOError: [Errno 30] Read-only file system
最近一直在MACOS上重启之后就会碰到 IOError: [Errno 30] Read-only file system: 解决办法： sudo mount -uw /就可以了...
2024/4/17 18:00:42
博客停止更新通知
由于这次疫情在家，除了给自己充电以外，还把之前一直搁浅的事情做了，就是搭建一个属于自己的博客平台，之前做了一个框架出来，后来由于工作原因比较忙，也懒得搞了，直到最近一直闲在家里....... 个人新博客地址：https://liyanxin99.gitee.io/ 博客主页如下：新博客平台搭…...
2024/4/21 11:14:52
如何在zabbix执行远程主机的脚本或指令
场景需求我们可以通过zabbix_server的web界面的脚本功能实现对已经安装了zabbix_agent主机实现远程关机而不用手动登陆然后输入关机指令我们可以通过zabbix_server的web界面的脚本功能实现某个服务的启动关闭和重启实验配置过程创建脚本打开zabbix_server的web配置界面，选择管…...
2024/4/16 14:36:28
centos7.4安装部署jumpserver（数据库外置）配置全过程--无问题
一、jumpserver概述jumpserver是全球首款完全开源的堡垒机，使用Python/django进行开发，遵循GNU GPL v2.0 开源协议，是符合 4A 的专业运维审计系统，遵循 Web 2.0 规范，配备了业界领先的 Web Terminal，交互美观，支持分布式架构，可以对多机房跨区域部署。jumpserver好比是…...
2024/4/27 9:19:08
redis-主从复制（sentinel）
前言 redis的持久化功能在一定程度上保证了数据的安全性，即便时服务器宕机的情况下，也可以保证数据的丢失非常少，通常，为了避免服务的单点故障，会把数据复制到多个副本放在不同的服务器上，且这些拥有数据副本的服务器可以用于处理客户端的读请求，扩展整体的性能，下面将…...
2024/4/20 14:21:10
进程和计划任务
1、显示统计占用系统内存最多的进程，并排序。[root@centos7 ~]# ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%mem | head PID PPID CMD %MEM %CPU 4652 1 /usr/lib/polkit-1/polkitd - 0.7 5.3 5365 1 /usr/bin/python2 -Es /usr/s 0.3 0.0 4841…...
2024/4/24 8:37:58
redis集群：手动与自动
手动创建：环境描述：一台机器启动六个节点，3个主节点，3个从节点。安装：tar -zxvf redis-3.2.10.tar.gzmv redis-3.2.10 /usr/local/redisyum install gcc* tcl -ymake && make test修改配置文件：vi /usr/local/redis/redis.conf **要改的地方** daemonize yes po…...
2024/4/24 8:37:57
Kubernetes系列之Kubernetes资源管理
Kubernetes系列之Kubernetes资源管理 Kubernetes 从创建之初的核心模块之一就是资源调度。想要在生产环境使用好 Kubernetes，必须对它的资源模型以及资源管理非常了解。这篇文章算是对散布在网络上的 Kubernetes 资源管理内容的一个总结。干货文章，强列推荐一读。 Kubernetes…...
2024/4/24 8:37:59
Kubernetes系列之Kubernetes存储卷
第一章、前言默认情况下容器的数据都是非持久化的，在容器消亡以后数据也跟着丢失，所以 Docker 提供了 Volume 机制以便将数据持久化存储。类似的， Kubernetes 提供了更强大的 Volume 机制和丰富的插件，解决了容器数据持久化和容器间共享数据的问题。与 Docker 不同， …...
2024/4/29 2:39:25
CentOS 8.1通过Web控制台Cockpit新建及管理KVM虚拟机
CentOS 8.1最小化安装后，并没有安装Cockpit，这时你如果要想通过Web控制台Cockpit来管理KVM虚拟机，你就需要安装它，如何安装？你可以使用以下命令进行安装：#yum install cockpit安装好 cockpit，Web控制台默认情况下未启动，你使用以下命令启用它：#systemctl enable --now…...
2024/4/24 5:14:19
相关视频教程
frida逆向学习 https://github.com/haidragon/study_frida ios逆向学习 https://github.com/haidragon/study_tweak 漏洞利用学习 https://github.com/haidragon/study_exploits 执行文件学习 https://github.com/haidragon/study_executable_file_formats 计算机取证学习 http…...
2024/4/24 8:37:53
kubernetes的存储ConfigMap
kubernetes的存储ConfigMap 标签（空格分隔）： kubernetes系列一： kubernetes的存储ConfigMap一：kubernetes的存储 1.1 configMap 描述信息 ConfigMap 功能在 Kubernetes1.2 版本中引入，许多应用程序会从配置文件、命令行参数或环境变量中读取配置信息。ConfigMap API 给我…...
2024/4/24 8:37:53
CentOS7.3学习笔记总结（一）
1.1、ip地址设置：配置文件路径：/etc/sysconfig/network-scripts/ifcfg-ens33修改内容：BOOTPROTO=dhcp 修改为：BOOTPROTO=staticONBOOT=no 修改为：ONBOOT=yes增加固定ip地址：IPADDR=10.41.*.*NETMASK=255.255.255.0GATEWAY=10.41.*.*启动或重启网卡服务：Service network…...
2024/4/24 8:37:50
k8s高可用环境部署-1.17.3版本
准备在开始部署 k8s 高可用集群时，请先参考k8s高可用环境部署系统准备操作系统兼容性环境说明集群部署前系统环境装备，请参考k8s高可用环境部署系统准备.md 本次高可用集群基本参照官网步骤进行部署，官网给出了两种拓扑结构：堆叠control plane node和external etcd nod…...
2024/4/24 8:37:49
Zabbix监控基本安装
1. 安装硬件要求ip地址硬件配置主机名10.0.0.61 1CPU、1G内存 zabbix-server2. 安装步骤（1）下载zabbix官方源 [root@zabbix-server /etc/yum.repos.d]# wget -ivh http://repo.zabbix.com/zabbix/4.0/rhel/7/x86_64/zabbix-release-4.0-1.el7.noarch.rpm wget到本地，方便…...
2024/4/24 8:37:50

OpenShift简介

一，简介

二，概念

三，架构

3.1，组件架构图

3.2，逻辑架构图

3.3，部署架构图

四，部署

4.1,软件包下载

4.2,受限的网络中安装--裸机部署

4.2.1,安装http服务

4.2.3,安装registry

4.2.4,安装lb

4.2.5, 创建ssh秘钥

4.2.6,创建并生成安装ocp的配置文件

4.2.7,安装bootstrap节点

4.2.8,安装master节点

4.2.9,安装node节点

4.2.10,收尾工作

相关文章

最新文章