一、docker结合负载均衡实现网站高可用

整体架构图：

1、安装并配置 keepalived：

#1: Server1 安装并配置： 
[root@docker-server1 ~]# yum install keepalived –y
[root@docker-server1 ~]# cat /etc/keepalived/keepalived.conf 
vrrp_instance MAKE_VIP_INT {state MASTERinterface eth0virtual_router_id 1priority 100advert_int 1unicast_src_ip 192.168.10.205unicast_peer {192.168.10.206}authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {192.168.10.100/24 dev eth0 label eth0:1} }
[root@docker-server1~]# systemctl restart keepalived && systemctl enable keepalived
#2：Server2 安装并配置: 
[root@docker-server2 ~]# yum install keepalived –y
[root@docker-server2 ~]# cat /etc/keepalived/keepalived.conf 
vrrp_instance MAKE_VIP_INT {state BACKUPinterface eth0virtual_router_id 1priority 50advert_int 1unicast_src_ip 192.168.10.206unicast_peer {192.168.10.205}authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {192.168.10.100/24 dev eth0 label eth0:1} }
[root@docker-server2 ~]# systemctl restart keepalived && systemctl enable keepalived

2、安装并配置 haproxy：

#1.：各服务器配置内核参数： 
[root@docker-server1 ~]# sysctl -w net.ipv4.ip_nonlocal_bind=1
[root@docker-server2 ~]# sysctl -w net.ipv4.ip_nonlocal_bind=1
#2：Server1 安装并配置 haproxy： 
[root@docker-server1 ~]# yum install haproxy –y
[root@docker-server1 ~]# cat /etc/haproxy/haproxy.cfg 
global
maxconn 100000
uid 99
gid 99
daemon
nbproc 1
log 127.0.0.1 local0 info
defaults
option http-keep-alive
#option forwardfor
maxconn 100000
mode tcp
timeout connect 500000ms
timeout client 500000ms
timeout server 500000ms
listen stats
mode http
bind 0.0.0.0:9999
stats enable
log global
stats uri /haproxy-status
stats auth haadmin:q1w2e3r4ys
#================================================================ 
frontend docker_nginx_webbind 192.168.10.100:80 mode httpdefault_backend docker_nginx_hosts
backend docker_nginx_hostsmode http#balance sourcebalance roundrobinserver 192.168.10.205 192.168.10.205:81 check inter 2000 fall 3 rise 5
server 192.168.10.206 192.168.10.206:81 check inter 2000 fall 3 rise 5
#3：Server2 安装并配置 haproxy： 
[root@docker-server2 ~]# yum install haproxy –y
[root@docker-server2 ~]# cat /etc/haproxy/haproxy.cfg 
global
maxconn 100000
uid 99
gid 99
daemon
nbproc 1
log 127.0.0.1 local0 info
defaults
option http-keep-alive
#option forwardfor
maxconn 100000
mode tcp
timeout connect 500000ms
timeout client 500000ms
timeout server 500000ms
listen stats
mode http
bind 0.0.0.0:9999
stats enable
log global
stats uri /haproxy-status
stats auth haadmin:q1w2e3r4ys
#================================================================
frontend docker_nginx_webbind 192.168.10.100:80 mode httpdefault_backend docker_nginx_hosts
backend docker_nginx_hostsmode http#balance sourcebalance roundrobinserver 192.168.10.205 192.168.10.205:81 check inter 2000 fall 3 rise 5server 192.168.10.206 192.168.10.206:81 check inter 2000 fall 3 rise 5
#4：各服务器分别启动 haproxy： 
[root@docker-server1 ~]# systemctl enable haproxy
Created symlink from /etc/systemd/system/multi-user.target.wants/haproxy.service 
to /usr/lib/systemd/system/haproxy.service.
[root@docker-server1 ~]# systemctl restart haproxy
[root@docker-server2 ~]# systemctl enable haproxy
Created symlink from /etc/systemd/system/multi-user.target.wants/haproxy.service 
to /usr/lib/systemd/system/haproxy.service.
[root@docker-server2 ~]# systemctl restart haproxy

3、服务器启动 nginx 容器并验证：

#1：Server1 启动 Nginx 容器： 
#从本地 Nginx 镜像启动一个容器，并指定端口，默认协议是 tcp 方式
[root@docker-server1 ~]# docker rm -f `docker ps -a -q` #先删除之前所有的容器
[root@docker-server1 ~]# docker run --name nginx-web1 -d -p 81:80 jack/nginx-1.10.3:v1 nginx
5410e4042f731d2abe100519269f9241a7db2b3a188c6747b28423b5a584d020
#2：验证端口： 
#3：验证 web 访问： 4.1.4.3：Server2 启动 nginx 容器： 
[root@docker-server2 ~]# docker run --name nginx-web1 -d -p 81:80 jack/nginx-1.10.3:v1 nginx
84f2376242e38d7c8ba7fabf3134ac0610ab26358de0100b151df6a231a2b56a
#4：验证端口： 
#5：验证 web 访问： 
#6：访问 VIP： 
#7：Server1 haproxy 状态页面： 
#8：Server2 haproxy 状态页面： 
#日志可以在 nginx 里面通过 syslog 传递给 elk 收集指定 IP、协议和端口：
[root@linux-docker ~]# docker run --name nginx-web -d -p 
192.168.10.22:80:80/tcp jack/centos-nginx nginx
[root@linux-docker ~]# docker run --name nginx-web-udp -d -p 
192.168.10.22:54:53/udp jack/centos-nginx nginx

二、容器之间的关联

1、通过容器名称互联

此方式最少需要两个容器之间操作：

#1：先创建第一个容器，后续会使用到这个容器的名称： 
[root@docker-server1 ~]# docker run --name nginx-1 -d -p 8801:80 jack/nginx-1.10.3:v1 nginx
c045c82e85bd620eb9444275b135634a9248760e2061505a1c8b4167e9b24b3d
#2：查看当前 hosts 文件内容： 
[root@c045c82e85bd /]# cat /etc/hosts
127.0.0.1 localhost::1 localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
172.17.0.2 c045c82e85bd
#3：创建第二个容器： 
[root@docker-server1 ~]# docker run -d --name nginx-2 --link nginx-1 -p 8802:80 jack/centos-nginx nginx
23813883ed977d4cc1e50355adaf37564832fc90b4b8b307866c1c99c8256c57
#4：查看第二个容器的 hosts 文件内容： 
[root@23813883ed97 /]# cat /etc/hosts
127.0.0.1 localhost
::1 localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
172.17.0.2 nginx-1 c045c82e85bd #第一个容器的名称和 ID,只会添加到本地不会添加到对方172.17.0.3 23813883ed97
#5：检测通信：

2、通过自定义容器别名互联

#命令格式：
docker run -d --name 新容器名称 --link 目标容器名称:自定义的名称 -p 本地端口:容器端口 镜像名称 shell 命令

#1：启动第三个容器： 
[root@docker-server1 ~]# docker run -d --name nginx-3 --link nginx-1:custom_vm_name -p 8803:80 jack/centos-nginx /usr/sbin/nginx
2ed3016f90fd735c66ae79e039481c1576dd63f67a7861358f2825b234806b0c
#2：查看当前容器的 hosts 文件: 
[root@docker-server1 ~]# ./docker-in.sh nginx-3
[root@2ed3016f90fd /]# cat /etc/hosts
127.0.0.1 localhost
::1 localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
172.17.0.2 custom_vm_name c045c82e85bd nginx-1
172.17.0.4 2ed3016f90fd
#3：检查自定义别名通信： 
#查看当前 docke 的网卡信息：
[root@linux-docker ~]# docker network list
NETWORK ID NAME DRIVER SCOPE
b34d891b24aa bridge bridge local #桥接，使用自定义IP 
cf400b2de47a host host local #不获取IP直接使用物理机IP，并监听物理机IP监听端口 
697beb7f9a6b none null local #host 网络使用方式
[root@linux-docker ~]# docker run -it -d --name nginx-host-test --net=host jack/centos-nginx nginx 
#验证端口
#web 访问验证：

3、通过网络跨主机互联

（1）docker网络类型：

①Host 模式，使用参数 –net=host 指定。
新创建的容器直接使用宿主机的网卡和 IP 地址，此模式的网络性能最高，但是各容器之间端口不能相同，适用于运行容器端口比较固定的业务。

#为避免端口冲突，先删除所有的容器。
#先确认宿主机端口没有占用 80 端口。
#启动一个新容器，并指定网络模式为 host
[root@docker-server1 ~]# docker run -d --name net_host --net=host jack/centos-nginx 
nginx
abdc7c9c1e984278bc9344393edf493c3cb09929afb83e34bcd21179d226b61a
#验证网络信息：
#访问宿主机验证：
#Host 模式不支持端口映射，且容器无法启动

②None 模式，使用参数 –net=none 指定
在使用 none 模式后，Docker 容器不会进行任何网络配置，其没有网卡、没有 IP也没有路由，因此默认无法与外界通信，需要手动添加网卡配置 IP 等，所以极少使用。

[root@docker-server1 ~]# docker run -d --name net_none --net=none jack/centosnginx nginx
143ce15733c1961bf6e23989cbd7d76fc9f9297dc7f11e610ae30c418c21297c

③Container 模式，使用参数 –net=container:名称或 ID 指定。
使用此模式创建的容器需指定和一个已经存在的容器共享一个网络，而不是和宿主机共享网，新创建的容器不会创建自己的网卡也不会配置自己的 IP，而是和一个已经存在的被指定的容器东西 IP 和端口范围，因此这个容器的端口不能和被指定的端口冲突，除了网络之外的文件系统、进程信息等仍然保持 相互隔离，两个容器的进程可以通过 lo 网卡社保通信。

[root@docker-server1 ~]# docker run -d --name nginx-web1 jack/nginx-1.10.3:v1 
nginx
95d22a5d36c18544af47373cc227a1679f239e790f86907d310d13ef4eb85d5e
[root@docker-server1 ~]# docker run -it --name net_container --net=container:nginx-web1 jack/centos-nginx bash #直接使用对方的网络，较少使用

④Bridge 模式，使用参数 –net=bridge 指定，不指定默认就是 bridge 模式。
使用比较多的模式，此模式创建的容器会为每一个容器分配自己的网络 IP 等信息，并将容器连接到一个虚拟网桥与外界通信。

[root@docker-server1 ~]# docker network inspect bridge
[root@docker-server1 ~]# docker run -d --name net_bridge jack/nginx-1.10.3:v1 /usr/sbin/nginx
58e251cdb17fc309ee364c332549b434f4d51019b793702e81b5edb1ff701a7c

（2）docker 跨主机互联之简单实现：

前提是保证各宿主机之间的网络是可以相互通信的，实现原理是在宿主机做一个网络路由就可以实现 A 宿主机的容器访问 B 主机的容器的目的，复杂的网络或者大型的网络可以使用 google 开源的k8s 进行互联。

#1：修改各宿主机网段：
#Docker 的默认网段是 172.17.0.x/24,而且每个宿主机都是一样的，因此要做路由的前提就是各个主机的网络不能一致，具体如下：
#为避免影响，先在各服务器删除之前穿件的所有容器。
docker rm -f `docker ps -a -q`
#2：服务器 A 更改网段：
[root@linux-docker1 ~]# vim /usr/lib/systemd/system/docker.service
18 ExecStart=/usr/bin/dockerd-current --bip=172.16.10.1/24 \ 
#3：重启 docker 服务并验证网卡：
[root@linux-docker1 ~]# systemctl daemon-reload
[root@linux-docker1 ~]# systemctl restart docker
#验证网卡：
#4：服务器 B 更改网段:
[root@linux-docker2 ~]# vim /usr/lib/systemd/system/docker.service
18 ExecStart=/usr/bin/dockerd-current --bip=172.16.20.1/24 \
[root@linux-docker2 ~]# systemctl daemon-reload
[root@linux-docker2 ~]# systemctl restart docker
#5：验证网卡：

（3）在两个宿主机分别启动一个实例：

#Server1：
[root@docker-server1 ~]# docker run -d --name test-net-vm jack/nginx-1.10.3:v1 
nginx
5d625a868718656737d452d6e57cd23a8a9a1cc9d2e8f76057f1977da2b52a60
#Server2：
[root@docker-server2 ~]# docker run -d --name test-net-vm jack/nginx-1.10.3:v1 
nginx
ce8fbe4c1d6b5515136ac280f87e6c03884daa35996e996f124ac7056f609e0c

（4）添加静态路由：

在各宿主机添加静态路由，网关指向对方的 IP：

#1: Server1 添加静态路由：
[root@docker-server1 ~]# iptables -A FORWARD -s 192.168.10.0/24 -j ACCEPT
[root@docker-server1 ~]# route add -net 172.16.20.0/24 gw 192.168.10.206 
#ping 对方容器 IP
#2：server2 添加静态路由：
[root@docker-server2 ~]# iptables -A FORWARD -s 192.168.10.0/24 -j ACCEPT
[root@docker-server2 ~]# route add -net 172.16.10.0/24 gw 192.168.10.205 
#ping 对方容器 IP
#3：抓包分析
[root@linux-docker2 ~]# tcpdump -i eth0 -vnn icmp

（5）测试容器间互联：

#1：宿主机 A 到宿主机 B 容器测试：
#2：宿主机 B 到宿主机 A 容器测试：