写在文章之前

​ 在看过上篇文章后，相信大家对FastDFS有了一定的了解，但还是得实践之后才能明白FastDFS的结构和相比传统文件系统的优势。

环境：

• CentOS：CentOS-7-x86_64
• VMware：VMware-workstation-full-15.5.1-15018445
• JDK：1.8.0_181
• SpringBoot：2.0.1.RELEASE
• SpringCloud：Finchley.RC1

1. Centos下安装FastDFS

1.1 上传

将 FastDFS_v508.tar.gz,fastdfs-nginx-module_v1.16.tar.gz,libfastcommon-master.zip,libevent-2.0.22-stable.tar.gz,nginx-1.10.0.tar.gz 五个文件上传到linux下的/home/leyou/fdfs目录:

1.2 安装依赖

FastDFS运行需要一些依赖，在课前资料提供的虚拟中已经安装好了这些依赖，如果大家想要从头学习，可以按下面方式安装：

1.2.1 安装GCC依赖

GCC用来对C语言代码进行编译运行，使用yum命令安装：

sudo yum -y install gcc

1.2.2 安装unzip工具

unzip工具可以帮我们对压缩包进行解压

sudo yum install -y unzip zip

1.2.3 安装libevent

sudo yum -y install libevent

1.2.4 安装Nginx所需依赖

sudo yum -y install pcre pcre-devel zlib zlib-devel openssl openssl-devel

1.2.5 安装libfastcommon-master

这个没有yum包，只能通过编译安装：

• 解压刚刚上传的libfastcommon-master.zip

  tar -xvf libfastcommon-master.zip
  

• 进入解压完成的目录：

  cd libfastcommon-master
  

• 编译并且安装：

  sudo ./make.sh 
  sudo ./make.sh install
  

到这里为止，所有依赖都已经安装完毕，接下来我们安装FastDFS：

1.3 安装FastDFS

1.3.1 编译安装

这里我们也采用编译安装，步骤与刚才的编译安装方式一样：

• 解压

  tar -xvf FastDFS_v5.08.tar.gz
  

• 进入目录

  cd FastDFS
  

• 编译并安装

  sudo ./make.sh 
  sudo ./make.sh install
  

• 校验安装结果

1）安装完成，我们应该能在/etc/init.d/目录，通过命令ll /etc/init.d/ | grep fdfs看到FastDFS提供的启动脚本：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oFVOApFy-1596340022170)(E:/BaiduNetdiskDownload/乐优商城/资料/FastDFS/assets/1524237469238.png)]

其中：

• fdfs_trackerd 是tracker启动脚本
• fdfs_storaged 是storage启动脚本

2）我们可以在 /etc/fdfs目录，通过命令查看到以下配置文件模板：

其中：

• tarcker.conf.sample 是tracker的配置文件模板
• storage.conf.sample 是storage的配置文件模板
• client.conf.sample 是客户端的配置文件模板

1.3.2 启动tracker

FastDFS的tracker和storage在刚刚的安装过程中，都已经被安装了，因此我们安装这两种角色的方式是一样的。不同的是，两种需要不同的配置文件。

我们要启动tracker，就修改刚刚看到的tarcker.conf，并且启动fdfs_trackerd脚本即可。

• 编辑tracker配置

首先我们将模板文件进行赋值和重命名：

sudo cp tracker.conf.sample tracker.conf
sudo vim tracker.conf

打开tracker.conf，修改base_path配置：

base_path=/leyou/fdfs/tracker # tracker的数据和日志存放目录

• 创建目录

刚刚配置的目录可能不存在，我们创建出来

sudo mkdir -p /leyou/fdfs/tracker

• 启动tracker

  我们可以使用 sh /etc/init.d/fdfs_trackerd 启动，不过安装过程中，fdfs已经被设置为系统服务，我们可以采用熟悉的服务启动方式：

sudo service fdfs_trackerd start # 启动fdfs_trackerd服务，停止用stop

另外，我们可以通过以下命令，设置tracker开机启动：

sudo chkconfig fdfs_trackerd on

1.3.3 启动storage

我们要启动tracker，就修改刚刚看到的tarcker.conf，并且启动fdfs_trackerd脚本即可。

• 编辑storage配置

首先我们将模板文件进行赋值和重命名：

sudo cp storage.conf.sample storage.conf
sudo vim storage.conf

打开storage.conf，修改base_path配置：

base_path=/leyou/fdfs/storage # storage的数据和日志存放目录
store_path0=/leyou/fdfs/storage # storage的上传文件存放路径
tracker_server=192.168.56.101:22122 # tracker的地址

• 创建目录

刚刚配置的目录可能不存在，我们创建出来

sudo mkdir -p /leyou/fdfs/storage

• 启动storage

  我们可以使用 sh /etc/init.d/fdfs_storaged 启动，同样我们可以用服务启动方式：

sudo service fdfs_storaged start  # 启动fdfs_storaged服务，停止用stop

另外，我们可以通过以下命令，设置tracker开机启动：

sudo chkconfig fdfs_storaged on

最后，通过ps -ef | grep fdfs 查看进程：

1.4 安装Nginx及FastDFS模块

1.4.1 FastDFS的Nginx模块

• 解压

  tar -xvf fastdfs-nginx-module_v1.16.tar.gz
  

• 配置config文件

  # 进入配置目录
  cd /home/leyou/fdfs/fastdfs-nginx-module/src/
  # 修改配置
  vim config
  # 执行下面命令（将配置中的/usr/local改为/usr）：
  :%s+/usr/local/+/usr/+g
  

• 配置mod_fastdfs.conf

  # 将src目录下的mod_fastdfs.conf复制到 /etc/fdfs目录：
  sudo cp mod_fastdfs.conf /etc/fdfs/
  # 编辑该文件
  sudo vim /etc/fdfs/mod_fastdfs.conf
  

• 修改一下配置：

  connect_timeout=10                  		# 客户端访问文件连接超时时长（单位：秒）
  tracker_server=192.168.56.101:22122  	# tracker服务IP和端口
  url_have_group_name=true            		# 访问链接前缀加上组名
  store_path0=/leyou/fdfs/storage        		# 文件存储路径
  

• 复制 FastDFS的部分配置文件到/etc/fdfs目录

  cd /home/leyou/fdfs/FastDFS/conf/
  cp http.conf mime.types /etc/fdfs/
  

1.4.2 安装Nginx

• 解压

  tar -xvf nginx-1.10.0.tar.gz
  

• 配置

  sudo ./configure --prefix=/opt/nginx --sbin-path=/usr/bin/nginx --add-module=/home/leyou/fdfs/fastdfs-nginx-module/src
  

• 编译,不要安装

  sudo make
  

• 备份之前的nginx

  mv /usr/bin/nginx /usr/bin/nginx- bck
  

• 用刚才编译的nginx替换之前安装的nginx

  nginx -s stop
  cp /home/1eyou/nginx-1.10.0/objs/nginx /usr/bin/
  

• 配置nginx整合fastdfs-module模块

  我们需要修改nginx配置文件，在/opt/nginx/config/nginx.conf文件中：

  sudo vim  /opt/nginx/conf/nginx.conf
  

  在nginx.conf文件中添加如下代码：

      server {listen       80;server_name  image.leyou.com;# 监听域名中带有group的，交给FastDFS模块处理location ~/group([0-9])/ {ngx_fastdfs_module;}location / {root   html;index  index.html index.htm;}error_page   500 502 503 504  /50x.html;location = /50x.html {root   html;}}
  

• 启动

  nginx # 启动
  nginx -s stop # 停止
  nginx -s reload # 重新加载配置
  

若重启nginx或者关闭nginx出现 ngx_http_fastdfs_set pid，则nginx的fastdfs模块安装成功！

• 设置nginx开机启动

  创建一个开机启动的脚本：

  vim /etc/init.d/nginx
  

  添加以下内容：

  （NGINX_CONF_FILE的路径为）

  #!/bin/sh
  #
  # nginx - this script starts and stops the nginx daemon
  #
  # chkconfig:   - 85 15
  # description:  NGINX is an HTTP(S) server, HTTP(S) reverse \
  #               proxy and IMAP/POP3 proxy server
  # processname: nginx
  # config:      /etc/nginx/nginx.conf
  # config:      /etc/sysconfig/nginx
  # pidfile:     /var/run/nginx.pid# Source function library.
  . /etc/rc.d/init.d/functions# Source networking configuration.
  . /etc/sysconfig/network# Check that networking is up.
  [ "$NETWORKING" = "no" ] && exit 0nginx="/usr/bin/nginx"
  prog=$(basename $nginx)NGINX_CONF_FILE="/opt/nginx/conf/nginx.conf"[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginxlockfile=/var/lock/subsys/nginxmake_dirs() {# make required directoriesuser=`$nginx -V 2>&1 | grep "configure arguments:.*--user=" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`if [ -n "$user" ]; thenif [ -z "`grep $user /etc/passwd`" ]; thenuseradd -M -s /bin/nologin $userfioptions=`$nginx -V 2>&1 | grep 'configure arguments:'`for opt in $options; doif [ `echo $opt | grep '.*-temp-path'` ]; thenvalue=`echo $opt | cut -d "=" -f 2`if [ ! -d "$value" ]; then# echo "creating" $valuemkdir -p $value && chown -R $user $valuefifidonefi
  }start() {[ -x $nginx ] || exit 5[ -f $NGINX_CONF_FILE ] || exit 6make_dirsecho -n $"Starting $prog: "daemon $nginx -c $NGINX_CONF_FILEretval=$?echo[ $retval -eq 0 ] && touch $lockfilereturn $retval
  }stop() {echo -n $"Stopping $prog: "killproc $prog -QUITretval=$?echo[ $retval -eq 0 ] && rm -f $lockfilereturn $retval
  }restart() {configtest || return $?stopsleep 1start
  }reload() {configtest || return $?echo -n $"Reloading $prog: "killproc $nginx -HUPRETVAL=$?echo
  }force_reload() {restart
  }configtest() {$nginx -t -c $NGINX_CONF_FILE
  }rh_status() {status $prog
  }rh_status_q() {rh_status >/dev/null 2>&1
  }case "$1" instart)rh_status_q && exit 0$1;;stop)rh_status_q || exit 0$1;;restart|configtest)$1;;reload)rh_status_q || exit 7$1;;force-reload)force_reload;;status)rh_status;;condrestart|try-restart)rh_status_q || exit 0;;*)echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"exit 2
  esac

• 修改文件权限，并加入服务列表

  # 修改权限
  chmod 777 /etc/init.d/nginx 
  # 添加到服务列表
  chkconfig --add /etc/init.d/nginx 
  

• 设置开机启动

  chkconfig nginx on
  

2.实现图片上传

刚才的新增实现中，我们并没有上传图片，接下来我们一起完成图片上传逻辑。

文件的上传并不只是在品牌管理中有需求，以后的其它服务也可能需要，因此我们创建一个独立的微服务，专门处理各种上传。

2.1.搭建项目

2.1.1.创建module

2.1.2.依赖

我们需要EurekaClient和web依赖：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"><parent><artifactId>leyou</artifactId><groupId>com.leyou.parent</groupId><version>1.0.0-SNAPSHOT</version></parent><modelVersion>4.0.0</modelVersion><groupId>com.leyou.service</groupId><artifactId>ly-upload</artifactId><version>1.0.0-SNAPSHOT</version><dependencies><dependency><groupId>org.springframework.cloud</groupId><artifactId>spring-cloud-starter-netflix-eureka-client</artifactId></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency></dependencies>
</project>

2.1.3.编写配置

server:port: 8082
spring:application:name: upload-serviceservlet:multipart:max-file-size: 5MB # 限制文件上传的大小
# Eureka
eureka:client:service-url:defaultZone: http://127.0.0.1:10086/eurekainstance:lease-renewal-interval-in-seconds: 5 # 每隔5秒发送一次心跳lease-expiration-duration-in-seconds: 10 # 10秒不发送就过期prefer-ip-address: trueip-address: 127.0.0.1instance-id: ${spring.application.name}:${server.port}

需要注意的是，我们应该添加了限制文件大小的配置

2.1.4.启动类

@SpringBootApplication
@EnableDiscoveryClient
public class LyUploadService {public static void main(String[] args) {SpringApplication.run(LyUploadService.class, args);}
}

结构：

2.2.编写上传功能

2.2.1.controller

编写controller需要知道4个内容：

• 请求方式：上传肯定是POST
• 请求路径：/upload/image
• 请求参数：文件，参数名是file，SpringMVC会封装为一个接口：MultipleFile
• 返回结果：上传成功后得到的文件的url路径

代码如下：

@RestController
@RequestMapping("upload")
public class UploadController {@Autowiredprivate UploadService uploadService;/*** 上传图片功能* @param file* @return*/@PostMapping("image")public ResponseEntity<String> uploadImage(@RequestParam("file") MultipartFile file) {String url = this.uploadService.upload(file);if (StringUtils.isBlank(url)) {// url为空，证明上传失败return new ResponseEntity<>(HttpStatus.BAD_REQUEST);}// 返回200，并且携带url路径return ResponseEntity.ok(url);}
}

2.2.2.service

在上传文件过程中，我们需要对上传的内容进行校验：

1. 校验文件大小
2. 校验文件的媒体类型
3. 校验文件的内容

文件大小在Spring的配置文件中设置，因此已经会被校验，我们不用管。

具体代码：

@Service
public class UploadService {private static final Logger logger = LoggerFactory.getLogger(UploadController.class);// 支持的文件类型private static final List<String> suffixes = Arrays.asList("image/png", "image/jpeg");public String upload(MultipartFile file) {try {// 1、图片信息校验// 1)校验文件类型String type = file.getContentType();if (!suffixes.contains(type)) {logger.info("上传失败，文件类型不匹配：{}", type);return null;}// 2)校验图片内容BufferedImage image = ImageIO.read(file.getInputStream());if (image == null) {logger.info("上传失败，文件内容不符合要求");return null;}// 2、保存图片// 2.1、生成保存目录File dir = new File("D:\\heima\\upload");if (!dir.exists()) {dir.mkdirs();}// 2.2、保存图片file.transferTo(new File(dir, file.getOriginalFilename()));// 2.3、拼接图片地址String url = "http://image.leyou.com/upload/" + file.getOriginalFilename();return url;} catch (Exception e) {return null;}}
}

这里有一个问题：为什么图片地址需要使用另外的url？

• 图片不能保存在服务器内部，这样会对服务器产生额外的加载负担
• 一般静态资源都应该使用独立域名，这样访问静态资源时不会携带一些不必要的cookie，减小请求的数据量

2.2.3.测试上传

我们通过RestClient工具来测试：

结果：

去目录下查看：

上传成功！

2.2.4.绕过网关

图片上传是文件的传输，如果也经过Zuul网关的代理，文件就会经过多次网路传输，造成不必要的网络负担。在高并发时，可能导致网络阻塞，Zuul网关不可用。这样我们的整个系统就瘫痪了。

所以，我们上传文件的请求就不经过网关来处理了。

2.2.4.1.Zuul的路由过滤

Zuul中提供了一个ignored-patterns属性，用来忽略不希望路由的URL路径，示例：

zuul.ignored-patterns: /upload/**

路径过滤会对一切微服务进行判定。

Zuul还提供了ignored-services属性，进行服务过滤：

zuul.ignored-services: upload-servie

我们这里采用忽略服务：

zuul:ignored-services:- upload-service # 忽略upload-service服务

上面的配置采用了集合语法，代表可以配置多个

2.2.4.2.Nginx的rewrite指令

现在，我们修改页面的访问路径：

<v-uploadv-model="brand.image" url="/upload/image" :multiple="false" :pic-width="250" :pic-height="90"/>

查看页面的请求路径：

可以看到这个地址不对，依然是去找Zuul网关，因为我们的系统全局配置了URL地址。怎么办？

有同学会想：修改页面请求地址不就好了。

注意：原则上，我们是不能把除了网关以外的服务对外暴露的，不安全。

既然不能修改页面请求，那么就只能在Nginx反向代理上做文章了。

我们修改nginx配置，将以/api/upload开头的请求拦截下来，转交到真实的服务地址:

location /api/upload {proxy_pass http://127.0.0.1:8082;proxy_connect_timeout 600;proxy_read_timeout 600;
}

这样写大家觉得对不对呢？

显然是不对的，因为ip和端口虽然对\了，但是路径没变，依然是：http://127.0.0.1:8002/api/upload/image

前面多了一个/api

Nginx提供了rewrite指令，用于对地址进行重写，语法规则：

rewrite "用来匹配路径的正则" 重写后的路径 [指令];

我们的案例：

	server {listen       80;server_name  api.leyou.com;proxy_set_header X-Forwarded-Host $host;proxy_set_header X-Forwarded-Server $host;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;# 上传路径的映射location /api/upload {	proxy_pass http://127.0.0.1:8082;proxy_connect_timeout 600;proxy_read_timeout 600;rewrite "^/api/(.*)$" /$1 break; }location / {proxy_pass http://127.0.0.1:10010;proxy_connect_timeout 600;proxy_read_timeout 600;}}

• 首先，我们映射路径

• 是/api/upload，而下面一个映射路径是 / ，根据最长路径匹配原则，/api/upload优先级更高。也就是说，凡是以/api/upload开头的路径，都会被第一个配置处理

• proxy_pass：反向代理，这次我们代理到8082端口，也就是upload-service服务

• rewrite "^/api/(.*)$" /$1 break，路径重写：

  • "^/api/(.*)$"：匹配路径的正则表达式，用了分组语法，把/api/以后的所有部分当做1组

  • /$1：重写的目标路径，这里用$1引用前面正则表达式匹配到的分组（组编号从1开始），即/api/后面的所有。这样新的路径就是除去/api/以外的所有，就达到了去除/api前缀的目的

  • break：指令，常用的有2个，分别是：last、break

    • last：重写路径结束后，将得到的路径重新进行一次路径匹配
    • break：重写路径结束后，不再重新匹配路径。

    我们这里不能选择last，否则以新的路径/upload/image来匹配，就不会被正确的匹配到8082端口了

修改完成，输入nginx -s reload命令重新加载配置。然后再次上传试试。

2.2.5.跨域问题

重启nginx，再次上传，发现报错了：

不过庆幸的是，这个错误已经不是第一次见了，跨域问题。

我们在upload-service中添加一个CorsFilter即可：

@Configuration
public class GlobalCorsConfig {@Beanpublic CorsFilter corsFilter() {//1.添加CORS配置信息CorsConfiguration config = new CorsConfiguration();//1) 允许的域,不要写*，否则cookie就无法使用了config.addAllowedOrigin("http://manage.leyou.com");//2) 是否发送Cookie信息config.setAllowCredentials(false);//3) 允许的请求方式config.addAllowedMethod("OPTIONS");config.addAllowedMethod("POST");config.addAllowedHeader("*");//2.添加映射路径，我们拦截一切请求UrlBasedCorsConfigurationSource configSource = new UrlBasedCorsConfigurationSource();configSource.registerCorsConfiguration("/**", config);//3.返回新的CorsFilter.return new CorsFilter(configSource);}
}

再次测试：

不过，非常遗憾的是，访问图片地址，却没有响应。

这是因为我们并没有任何服务器对应image.leyou.com这个域名。。

这个问题，我们暂时放下，回头再来解决。

3.java客户端

这里推荐一个开源的FastDFS客户端，支持最新的SpringBoot2.0。

配置使用极为简单，支持连接池，支持自动生成缩略图。

地址：tobato/FastDFS_client

3.5.1.引入依赖

在父工程中，我们已经管理了依赖，版本为：

<fastDFS.client.version>1.26.2</fastDFS.client.version>

因此，这里我们直接引入坐标即可：

<dependency><groupId>com.github.tobato</groupId><artifactId>fastdfs-client</artifactId>
</dependency>

3.5.2.引入配置类

纯java配置：

@Configuration
@Import(FdfsClientConfig.class)
// 解决jmx重复注册bean的问题
@EnableMBeanExport(registration = RegistrationPolicy.IGNORE_EXISTING)
public class FastClientImporter {
}

3.5.3.编写FastDFS属性

application.yml添加如下代码：

fdfs:so-timeout: 1501connect-timeout: 601thumb-image: # 缩略图width: 60height: 60tracker-list: # tracker地址- 192.168.56.101:22122

3.5.4.测试

@RunWith(SpringRunner.class)
@SpringBootTest(classes = LyUploadService.class)
public class FdfsTest {@Autowiredprivate FastFileStorageClient storageClient;@Autowiredprivate ThumbImageConfig thumbImageConfig;@Testpublic void testUpload() throws FileNotFoundException {File file = new File("D:\\test\\baby.png");// 上传并且生成缩略图StorePath storePath = this.storageClient.uploadFile(new FileInputStream(file), file.length(), "png", null);// 带分组的路径System.out.println(storePath.getFullPath());// 不带分组的路径System.out.println(storePath.getPath());}@Testpublic void testUploadAndCreateThumb() throws FileNotFoundException {File file = new File("D:\\test\\baby.png");// 上传并且生成缩略图StorePath storePath = this.storageClient.uploadImageAndCrtThumbImage(new FileInputStream(file), file.length(), "png", null);// 带分组的路径System.out.println(storePath.getFullPath());// 不带分组的路径System.out.println(storePath.getPath());// 获取缩略图路径String path = thumbImageConfig.getThumbImagePath(storePath.getPath());System.out.println(path);}
}

结果：

group1/M00/00/00/wKg4ZVro5eCAZEMVABfYcN8vzII630.png
M00/00/00/wKg4ZVro5eCAZEMVABfYcN8vzII630.png
M00/00/00/wKg4ZVro5eCAZEMVABfYcN8vzII630_60x60.png

访问第一个路径：

访问最后一个路径（缩略图路径），注意加组名：

3.5.5.改造上传逻辑

@Service
public class UploadService {private static final Logger logger = LoggerFactory.getLogger(UploadController.class);// 支持的文件类型private static final List<String> suffixes = Arrays.asList("image/png", "image/jpeg");@AutowiredFastFileStorageClient storageClient;public String upload(MultipartFile file) {try {// 1、图片信息校验// 1)校验文件类型String type = file.getContentType();if (!suffixes.contains(type)) {logger.info("上传失败，文件类型不匹配：{}", type);return null;}// 2)校验图片内容BufferedImage image = ImageIO.read(file.getInputStream());if (image == null) {logger.info("上传失败，文件内容不符合要求");return null;}// 2、将图片上传到FastDFS// 2.1、获取文件后缀名String extension = StringUtils.substringAfterLast(file.getOriginalFilename(), ".");// 2.2、上传StorePath storePath = this.storageClient.uploadFile(file.getInputStream(), file.getSize(), extension, null);// 2.3、返回完整路径return "http://image.leyou.com/" + storePath.getFullPath();} catch (Exception e) {return null;}}
}

只需要把原来保存文件的逻辑去掉，然后上传到FastDFS即可。

3.5.6.测试

通过RestClient测试：

3.6.页面测试上传

发现上传成功：

不过，当我们访问页面时：

这是因为我们图片是上传到虚拟机的，ip为：192.168.56.101

因此，我们需要将image.leyou.com映射到192.168.56.101

修改我们的hosts：

再次上传：

小结

FastDFS搭建分布式文件系统需要注意的问题：

• 跨域问题

• 虚拟机网络设置问题

• nginx配置不要写错路径

• FastFDS安装不要漏了步骤

END