1 GTID复制

1.1 规划:

主库:180.9.122. 27 node1
从库:
180.9.122. 32 node2
180.9.122. 31 node3 manager

1.2 准备环境

1.2.1 创建需要的目录（三节点）

Node1:

mkdir -p /data/3307/data /data/3307/log
chown -R mysql.mysql /data

node2:

mkdir -p /data/3308/data /data/3308/log
chown -R mysql.mysql /data

node3:

mkdir -p /data/3309/data /data/3309/log
chown -R mysql.mysql /data

1.2.2 配置文件（三节点）

实际只是配置的划用不到这么多参数，大家按需配置吧！

cat > /etc/my.cnf <<EOF
[mysqld]
user=mysql
basedir=/data/app/mysql
datadir=/data/3307/data
port=3307
server_id=7
socket=/data/3307/data/mysql.sock
log_bin=/data/3307/log/node1-bin
gtid_mode=on
enforce_gtid_consistency
log-slave-updates=1
secure-file-priv=/tmp
innodb_data_file_path=ibdata1:128M;ibtmp2:128M:autoextend:max:500M
innodb_undo_tablespaces=3
innodb_max_undo_log_size=128M
innodb_undo_log_truncate=ON
innodb_purge_rseg_truncate_frequency=32
autocommit=0
innodb_flush_method=O_DIRECT
slow_query_log=on
slow_query_log_file=/data/3307/log/node1-slow.log
long_query_time=0.1
log_queries_not_using_indexes
[client]
socket=/data/3307/data/mysql.sock
[mysql]
prompt=node1 [\d]>
socket=/data/3307/data/mysql.sock
EOF

1.2.3 初始化数据（三节点）

mysqld --initialize-insecure --user=mysql --basedir=/app/mysql --datadir=/data/3307/data
mysqld --initialize-insecure --user=mysql --basedir=/app/mysql --datadir=/data/3308/data
mysqld --initialize-insecure --user=mysql --basedir=/app/mysql --datadir=/data/3309/data

1.2.4 启动数据库（三节点）

systemctl start mysqld3307.service
systemctl start mysqld3308.service
systemctl start mysqld3309.service

1.2.5 创建复制用户，构建主从

Node1

[root@node1 3307]# mysql -S /data/3307/data/mysql.sock 
node1 [(none)]>grant replication slave on *.* to repl@'180.9.122.%' identified by 'jajx';
node1 [(none)]>select user,host from mysql.user;
node2\node3:
change master to 
master_host='180.9.122.27',
master_user='repl',
master_port=3307,
master_password='jajx' ,
MASTER_AUTO_POSITION=1; start slave;
show  slave status\G

1.2.6 关闭自动清除relay log功能（三节点）（按需配置）

#临时关闭自动清除relay log功能（所有库）
Set global relay_log_purge=0;
#永久关闭自动清除relay log功能（所有库）
Vi /etc/my.cnf
Relay_log_purge=0

1.3 配置关键程序软连接

ln -s /app/mysql/bin/mysqlbinlog /usr/bin/mysqlbinlog
ln -s /app/mysql/bin/mysql /usr/bin/mysql

1.4 配置各节点互信

node1：

rm -rf /root/.ssh 
ssh-keygen
cd /root/.ssh 
mv id_rsa.pub authorized_keys
scp  -r  /root/.ssh  180.9.122.31:/root 
scp  -r  /root/.ssh  180.9.122.32:/root 

各节点验证

Node1:
ssh 180.9.122.27 date
ssh 180.9.122.31 date
ssh 180.9.122.32 date
node2:
ssh 180.9.122.27 date
ssh 180.9.122.31 date
ssh 180.9.122.32 date
node3:
ssh 180.9.122.27 date
ssh 180.9.122.31 date
ssh 180.9.122.32 date

1.5 安装软件

1.5.1 下载mha软件

mha官网：https://code.google.com/archive/p/mysql-master-ha/
github下载地址：https://github.com/yoshinorim/mha4mysql-manager/wiki/Downloads

1.5.2 所有节点安装Node软件依赖包

yum install perl-DBD-MySQL -y
rpm -ivh mha4mysql-node-0.56-0.el6.noarch.rpm

1.5.3 在node1主库中创建mha需要的用户

grant all privileges on *.* to mha@'180.9.122.%' identified by 'jajx';
注意：mysql8.0有变化，create user … identified with mysql_native_password by ‘123’;

1.5.4 Manager软件安装（node3）

yum install -y perl-Config-Tiny epel-release perl-Log-Dispatch perl-Parallel-ForkManager perl-Time-HiRes
rpm -ivh mha4mysql-manager-0.56-0.el6.noarch.rpm

1.5.5 manager的配置文件准备(node3)

创建配置文件目录mkdir -p /etc/mha创建日志目录mkdir -p /var/log/mha/fltjys
编辑mha配置文件
vim /etc/mha/fltjys.cnf （manager可以管理多套集群，所以配置文件名字和业务相关比较好）
[server default]
manager_log=/var/log/mha/fltjys/manager        
manager_workdir=/var/log/mha/fltjys            
master_binlog_dir=/data/binlog       
user=mha                                   
password=jajx                               
ping_interval=2   ##心跳检测的间隔时间
repl_password=jajx
repl_user=repl
ssh_user=root   ##互信用户                            
[server1]                                   
hostname=180.9.122.27
port=3307                                  
[server2]            
hostname=180.9.122.31
port=3308
[server3]
hostname=180.9.122.32
port=3309

1.5.6 状态检查

1.5.6.1 互信检查

[root@db03 data]# masterha_check_ssh  --conf=/etc/mha/fltjys.cnf 
......
Fri Apr 19 16:39:37 2019 - [info] All SSH connection tests passed successfully.

1.5.6.2 主从状态检查

[root@db03 ~]# masterha_check_repl  --conf=/etc/mha/fltjys.cnf 
......
MySQL Replication Health is OK.

1.5.7 开启MHA(node3)：

nohup masterha_manager --conf=/etc/mha/fltjys.cnf --remove_dead_master_conf --ignore_last_failover  < /dev/null> /var/log/mha/fltjys/manager.log 2>&1 &

1.5.8 查看MHA状态

[root@node3 ~]# masterha_check_status --conf=/etc/mha/fltjys.cnf
app1 (pid:4719) is running(0:PING_OK), master:10.0.0.51
[root@node3 ~]# mysql -umha -pjajx -h 180.9.122.27 -P3307 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 51    |
+---------------+-------+
[root@db03 ~]# mysql -umha -pjajx -h 180.9.122.31 -P3308 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 52    |
+---------------+-------+
[root@db03 ~]# mysql -umha -pjajx -h 180.9.122.32 -P3309 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 53    |
+---------------+-------+

2 故障模拟及处理（检测MHA）

停主库node1:

[root@node1 app]# systemctl stop mysqld3307.service
观察manager  日志 tail -f /var/log/mha/app1/manager
最后几句
Master 180.9.122.27(180.9.122.27:3307) is down!Check MHA Manager logs at node3:/var/log/mha/fltjys/manager for details.Started automated(non-interactive) failover.
Selected 180.9.122.31(180.9.122.31:3308) as a new master.
180.9.122.31(180.9.122.31:3308): OK: Applying all logs succeeded.
180.9.122.32(180.9.122.32:3309): OK: Slave started, replicating from 180.9.122.31(180.9.122.31:3308)
180.9.122.31(180.9.122.31:3308): Resetting slave info succeeded.
Master failover to 180.9.122.31(180.9.122.31:3308) completed successfully.
正常切换成功。 

2.1 修复主库

systemctl start mysqld3307.service 

2.2 恢复主从结构

CHANGE MASTER TO 
MASTER_HOST='180.9.122.31',
MASTER_PORT=3308, 
MASTER_AUTO_POSITION=1, 
MASTER_USER='repl', 
MASTER_PASSWORD='jajx';
start slave ;
show slave status\G;

2.3 修改配置文件

[server1]
hostname=180.9.122.27
port=3307
或者用命令：
Masterha_conf_host  --command=add –conf=/etc/mha/app1.cnf –hostname=10.0.0.51  --block=server10  --params=”port=3306”  masterha_conf_host  --command=delete  --conf=/etc/mha/app1.cnf  --block=server1

2.4 状态检查

masterha_check_repl  --conf=/etc/mha/fltjys.cnf  
masterha_check_ssh  --conf=/etc/mha/fltjys.cnf  

2.5 启动MHA

nohup masterha_manager --conf=/etc/mha/fltjys.cnf --remove_dead_master_conf --ignore_last_failover  < /dev/null> /var/log/mha/fltjys/manager.log 2>&1 &

3 MHA 的vip功能

需要所有节点的网卡名一样；脚本放在manager节点上；VIP地址是空闲地址；
节点漂移需要一个工具（yum install -y net-tools）

3.1 修改脚本内容

vi  /usr/local/bin/master_ip_failover
my $vip = '180.9.122.100/24';
my $key = '1';
my $if ='ens33';
my $ssh_start_vip = "/sbin/ifconfig $if:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig $if:$key down";
[root@node3 ~]# chmod +x /usr/local/bin/master_ip_failover 

3.2 更改manager配置文件

vi /etc/mha/fltjys.cnf
添加：
master_ip_failover_script=/usr/local/bin/master_ip_failover

3.3 主库上，手工生成第一个vip地址

手工在主库上绑定vip，注意一定要和配置文件中的ethN一致，我的是eth0:1(1是key指定的值)

[root@db02 ~]#ifconfig ens33:1 180.9.122.100/24

3.4 重启mha

masterha_stop --conf=/etc/mha/fltjys.cnf
nohup masterha_manager --conf=/etc/mha/fltjys.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/fltjys/manager.log 2>&1 &

3.5 验证

在主节点上/etc/init.d/mysqld stop ,然后去从库上ip a 看看vip是不是飘了

4 邮件提醒

4.1 准备脚本

vi  /usr/local/bin/send_report
my $smtp = 'smtp.qq.com';        ##stmp服务器
my $mail_from = '24333453.qq.com';  ##发件箱
my $mail_user ='24333453';  ##用户名
my $mail_pass = "jshfajsdhfasbfadfja";   ##授权码
my $mail_to = [‘user1.qq.com’,’user2.qq.com’,’user3.qq.com’];chmod +x /usr/local/bin/send_report

4.2 更改manager配置文件

vi /etc/mha/fltjys.cnf
添加：
report_script=/usr/local/bin/send_report

4.3 重启mha

停止MHA
masterha_stop --conf=/etc/mha/fltjys.cnf
开启MHA
nohup masterha_manager --conf=/etc/mha/fltjys.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/fltjys/manager.log 2>&1 &

4.4 验证测试

关闭主库,看警告邮件

5 binlog server

5.1 配置文件

binlogserver配置：

找一台额外的机器，必须要有5.6以上的版本，支持gtid并开启，我们以一个slave（node2）为例子
vim /etc/mha/fltjys.cnf 
[binlog1]
no_master=1  不做主节点
hostname=180.9.122.31
master_binlog_dir=/data/binlog_server
注意：每修改一次配置文件，都可以masterha_check_repl –conf=/etc/mha/app1.cnf检查下

5.2 创建必要目录（binlog server上执行）

mkdir -p /data/binlog_server
chown -R mysql.mysql /data/*
修改完成后，将主库binlog拉过来（从000001开始拉，之后的binlog会自动按顺序过来）

5.3 拉取主库binlog日志（binlog server上执行）

cd /data/binlog_serever     -----》必须进入到自己创建好的目录
mysqlbinlog  -R --host=180.9.122.27 -P3307 --user=mha --password=jajx --raw  --stop-never node1-bin.000010 &
注意：
--host 是主节点 master_check_status  --conf=/etc/mha/fltjys.cof 查看
拉取日志的起点,需要按照目前从库的已经获取到的二进制日志点为起点(主库正在使用的，或者从库里面show slave status\G 看Master_log_file和Read_Master_log_Pos)

5.4 重启MHA

masterha_stop --conf=/etc/mha/fltjys.cnf
nohup masterha_manager --conf=/etc/mha/fltjys.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/fltjys/manager.log 2>&1 &

5.4 验证测试

node1 [(none)]>flush logs;
Query OK, 0 rows affected (0.01 sec)
node1 [(none)]>flush logs;
Query OK, 0 rows affected (0.04 sec)
node1 [(none)]>flush logs;
Query OK, 0 rows affected (0.01 sec)
node1 [(none)]>flush logs;
Query OK, 0 rows affected (0.01 sec)
[root@node2 binlog_server]# ls
node1-bin.000011  node1-bin.000012  node1-bin.000013  node1-bin.000014  node1-bin.000015  node1-bin.000016