Fastdfs被用来作为文件存储，在实际的生产中会对其进行灾备处理，下面我们来探究Fastdfs怎么实现双机房的容灾切换。

---

一、Fastdfs相关知识

FastDFS集群可支持的规则

1、选择tracker server

当集群中不止一个tracker server时，由于tracker之间是完全对等的关系，客户端在upload文件时可以任意选择一个trakcer。 选择存储的group 当tracker接收到upload file的请求时，会为该文件分配一个可以存储该文件的group，支持如下选择group的规则：

1、Round robin，所有的group间轮询
2、Specified group，指定某一个确定的group
3、Load balance，剩余存储空间多多group优先

2、选择storage server

当选定group后，tracker会在group内选择一个storage server给客户端，支持如下选择storage的规则：

1、Round robin，在group内的所有storage间轮询
2、First server ordered by ip，按ip排序
3、First server ordered by priority，按优先级排序（优先级在storage上配置）

3、选择storage path

当分配好storage server后，客户端将向storage发送写文件请求，storage将会为文件分配一个数据存储目录，支持如下规则：

1、Round robin，多个存储目录间轮询
2、剩余存储空间最多的优先

---

二、Fastdfs双机房集群搭建

Fastdfs的具体搭建过程不做赘述，具体参考他人集群搭建

A机房为主机房 B机房为备机房

---

三、Fastdfs双机房模拟测试

模拟场景一：AB机房容灾测试

测试场景：

测试思路：

1、AB机房搭建完成后，进行数据上传，查看存储状态； 2、关闭A机房的所有服务器，继续上传数据，查看存储状态； 3、恢复A机房的所有服务器，上传数据，查看存储状态；

测试过程：

1、搭建AB机房的fastdfs集群，通过/usr/bin/fdfs_monitor /etc/fdfs/storage.conf查看集群状态；

2、keepalived的虚拟ip在172.18.40.194服务器上

3、用代码进行文件上传与下载，集群状态良好；

@PostMapping("/upload1")public String uploadFile() throws IOException {Long count = 0L;FSEntity fsEntity;int a = 0;int b = 0;ArrayList<String> strings = new ArrayList<>();File file = new File("D://test");try {if (file == null || !file.exists()) {System.out.println("没有文件夹");}//获得文件对象的子文件对象列表File[] files = file.listFiles();//遍历文件并上传for (File f : files) {InputStream inputStream = null;FileInputStream fileInputStream = new FileInputStream(f);String fileName = f.getName();log.debug("文件名:{}", fileName);
​
​fsEntity = new FSEntity();fsEntity.setInputstream(fileInputStream);fsEntity.setName(fileName);fsEntity.setSize(f.length());fsEntity.setContentType(FilenameUtils.getExtension(fileName));
​SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");String dateNowStr2 = sdf.format(System.currentTimeMillis());System.out.println(dateNowStr2);FSEntity fsEntity1 = fsManager.putObject(bucket, fsEntity);String MD5code = DigestUtils.md5Hex(new FileInputStream(new File("D:\\test\\" + fsEntity1.getName())));/*保存文件*/uploadService.upload1(fsEntity1, MD5code);
​String dateNowStr = sdf.format(System.currentTimeMillis());System.out.println(dateNowStr);/*下载文件*/FSEntity fsdown = fsManager.getObject(bucket, fsEntity.getKeyId());//获取下载的路径File dfile = new File("D:\\test1\\" + fileName);FileOutputStream downloadFile = new FileOutputStream(dfile);//将文件下载到指定文件夹inputStream = fsdown.getInputstream();int index;byte[] bytes = new byte[1024];while ((index = inputStream.read(bytes)) > 0) {downloadFile.write(bytes, 0, index);downloadFile.flush();}// 校验MD5值String MD5code_download = DigestUtils.md5Hex(new FileInputStream(new File("D:\\test1\\" + fsEntity1.getName())));
​if (MD5code.equals(MD5code_download)) {System.out.println("文件匹配");a++;} else {System.out.println("文件不匹配");b++;strings.add(MD5code);}downloadFile.close();inputStream.close();fileInputStream.close();}System.out.println("文件匹配数" + a + "-------文件不匹配数" + b + "md5值为" + strings);} catch (Exception e) {log.error("Error", e);count++;System.out.println("上传失败数：" + count);}return "上传成功";}

4、关闭A机房172.18.40.173服务器的tracker与storage，关闭A机房的172.18.40.174服务器的tracker与storage，关闭172.18.40.194的keepalived；

• 关闭A机房172.18.40.173服务器的tracker与storage
  
• 关闭A机房的172.18.40.174服务器的tracker与storage
  
• 关闭172.18.40.194的keepalived
  

5、keepalived虚拟ip飘逸到172.18.40.195服务器上；

6、查看fastdfs集群状态，可以看出173、174的storage处于offline状态；

7、进行文件上传、下载，正常；

8、重启173、174服务器的tracker与storage，重启194的keepalived；

• 重启173服务器的tracker与storage
  
• 重启174服务器的tracker与storage
  
• 重启194服务器的keepalived，查看虚拟IP
  

9、恢复A机房的所有服务器，在fastdfs集群中只要是同一group，就会进行数据同步；

• vim /app/storage/data/sync/172.18.40.175_23000.mark命令查看172.18.40.173服务器的binlog_offset的偏移量
  

• -vim /app/storage/data/sync/172.18.40.173_23000.mark命令查看172.18.40.175服务器的binlog_offset的偏移量
  

• 参数解析

binlog_index=0   //binlog索引id
binlog_offset=528253386  //当前时间binlog 大小
need_sync_old=0  //是否需要同步老数据
sync_old_done=0 //是否同步完成
until_timestamp=0 //
scan_row_count=97 //扫描记录数
sync_row_count=52   //同步记录数

10、进行文件上传下载，状态良好；

测试结果：

搭建的集群，AB机房切换没有问题，数据能够成功同步；

---

模拟场景二：AB机房切换保证数据优先在A机房的storage存储

测试场景：

通常我们希望在生产中进行灾备切换时，尽量使用主机房的服务器，所以要保证数据优先存储在主机房，也就是我们模拟环境中的A机房

测试思路：

1、设置A机房的所有storage配置中的priority为1，设置B机房的所有storage配置中的priority为10，进行数据上传，查看存储状态；

2、关闭A机房的所有服务器，继续上传数据，查看存储状态；

3、恢复A机房的所有服务器，上传数据，查看存储状态；

预期结果：

通过设置priority参数，能够实现AB机房切换时数据优先在A机房的storage存储

测试过程：

1、设置A机房的所有storage配置中的priority为1，设置B机房的所有storage配置中的priority为10

2、将所有的tracker设置为根据优先级进行排序；

• 参数解析

# 选择哪个storage server 进行上传操作(一个文件被上传后，这个storage server就相当于这个文件的storage server源，会对同组的storage server推送这个文件达到同步效果)
# 0: 轮询方式
# 1: 根据ip 地址进行排序选择第一个服务器（IP地址最小者）
# 2: 根据优先级进行排序（上传优先级由storage server来设置，参数名为upload_priority）
store_server=0# 选择storage server 中的哪个目录进行上传。storage server可以有多个存放文件的base path（可以理解为多个磁盘）。
# 0: 轮流方式，多个目录依次存放文件
# 2: 选择剩余空间最大的目录存放文件（注意：剩余磁盘空间是动态的，因此存储到的目录或磁盘可能也是变化的）
store_path=0# 选择哪个 storage server 作为下载服务器
# 0: 轮询方式，可以下载当前文件的任一storage server
# 1: 哪个为源storage server 就用哪一个 (前面说过了这个storage server源 是怎样产生的) 就是之前上传到哪个storage server服务器就是哪个了
download_server=0

3、进行数据上传，看是否A机房的storage作为源数据、B机房的storage作为备份数据；

• 先查看没有修改priority参数的存储状态，轮询方式进行存储，会发现下图中M00前的大写C与小写c都存在，C表示从该服务器存储的源数据，c表示从同组服务器备份的数据；通过vim /app/storage/data/sync/binlog.000命令查看172.18.40.173服务器的存储情况；
  

  C表示源创建、c表示副本创建
  

• 修改了priority参数，进行上传，查看172.18.40.173服务器的存储情况，接着第110条数据的小c，之后上传的文件全部是大C为源数据；
  
  - 相应的同group的B机房数据为备份数据小c；
  

4、关闭A机房的所有服务器，继续上传数据，查看存储状态；

• 关闭A机房172.18.40.173服务器的tracker与storage；
  

• 关闭A机房172.18.40.174服务器的tracker与storage；
  

• 进行文件的上传和下载，文件上传、下载成功；

5、恢复A机房的所有服务器，上传数据，查看存储状态；

• 重启172.18.40.173服务器的tracker与storage
  

• 重启172.18.40.174服务器的tracker与storage
  

• 查看数据同步情况，vim /app/storage/data/sync/172.18.40.175_23000.mark命令查看172.18.40.173与172.18.40.175服务器的binlog_offset的偏移量相同，且扫描的总文件数相同；
  

6、A机房恢复后进行数据上传，查看数据是否依旧A机房的storage优先存储；

- vim /app/storage/data/sync/binlog.000命令查看173服务器的存储情况，从第136条数据往后都是大写C，表示173服务器又作为了源数据；

测试结果：

通过设置priority参数，能够实现AB机房切换时数据优先在A机房的storage存储。

---

四、可行性方案

1、AB机房初始状态

1、设置A机房的storage的priority参数值<A机房的storage的priority参数值;
2、设置所有的机房的tracker以优先级排序的方式进行存储，设置store_server=2;
3、 保证了A机房的storage作为数据源；

2、A机房宕机，切换到B机房

A机房宕机后，自动会切换到B机房进行存储；

3、A机房恢复，文件会自动实现同步；

1、A机房恢复后，A机房的storage会变为sync的状态；
2、当A机房storage同步文件完成后，A机房的storage变为源数据；

---

五、结束语

值得高兴的是Fastdfs有其完备的机制，在进行双机房切换时，不需要手动或者脚本执行，只需要根据实际的需求将一些参数设置完好，即可达到灾备的自动切换！