GlusterFS概述

 开源的分布式文件系统由存储服务器、客户端以及NFS/Samba存储网关组成无元数据服务器（数据传输组件RDMA）

在这里插入图片描述

GlusterFS特点

 扩展性、高性能、高可用性全局统一命名空间弹性卷管理---->云的特性：水平（实例数）、垂直（硬件性能）
ECS（虚拟）、OSS和RDS（裸金属）基于标准协议

GlusterFS术语

 Brick（节点）Volume（卷）FUSE（用户端交互模块）VFS（虚拟化文件系统）Glusterd（服务）

模块化堆栈式架构

 模块化、堆栈式的架构通过对模块的组合，实现复杂的功能

在这里插入图片描述

GlusterFS工作原理

GlusterFS工作流程

在这里插入图片描述

弹性HASH算法

 通过HASH算法得到一个32位的整数划分为N个连续的子空间，每个空间对应一个Brick弹性HASH算法的优点：
保证数据平均分布在每一个Brick中
解决了对元数据服务器的依赖，进而解决了单点故障以及访问瓶颈

GlusterFS的卷类型

1.分布式卷（fastdfs和gfs搭建）

没有对文件进行分块处理
通过扩展文件属性保存HASH值
支持的底层文件系统有ext3、ext4、 ZFS、 XFS等

在这里插入图片描述
分布式卷的特点

●文件分布在不同的服务器，不具备冗余性
●更容易和廉价地扩展卷的大小
●单点故障会造成数据丢失
●依赖底层的数据保护

2.条带卷

●根据偏移量将文件分成N块(N个条带节点)，轮询的存储在每个Brick
Server节点
●存储大文件时，性能尤为突出
●不具备冗余性，类似Raid0

条带卷的特点

●数据被分割成更小块分布到块服务器群中的不同条带区
●分布减少了负载且更小的文件加速了存取的速度
●没有数据冗余

3. 复制卷

●同一文件保存一份或多分副本
●复制模式因为要保存副本，所以磁盘利用率较低
●多个节点上的存储空间不一致， 那么将按照木桶效应取最低节点的容量
●作为该卷的总容量

复制卷的特点

●卷中所有的服务器均保存一个完整的副本
●卷的副本数量可由客户创建的时候决定
●至少由两个块服务器或更多服务器
●具备冗余性

4.分布式条带卷

●兼顾分布式卷和条带卷的功能
●主要用于大文件访问处理
●至少最少需要4台服务器

5.分布式复制卷

●兼顾分布式卷和复制卷的功能
●用于需要冗余的情况下

群集环境

在这里插入图片描述

卷类型

卷名称	卷类型	空间大小	Brick
dis-volume	分布式卷	40G	node1(/b1)、node2(/b1)
stripe-volume	条带卷	40G	node1(/c1)、node2(/c1)
rep-volume	复制卷	20G	node3(/b1)、node4(/b1)
dis-stripe	分布式条带卷	40G	node1(/d1)、node2(/d1)、node3(/d1)、node4(/d1)
dis-rep	分布式复制卷	20G	node1(/e1)、node2(/e1)、node3(/e1)、node4(/e1)

实验准备

1、为四台服务器服务器每台添加4个磁盘

在这里插入图片描述

2、修改服务器的名称

分别修改为node1、node2、node3、node4

[root@localhost ~]#hostnamectl set-hostname node1
[root@localhost ~]# su

3、将四台服务器上的磁盘格式化，并挂载

在这里我们使用脚本执行挂载

#进入opt目录
[root@node1 ~]# cd /opt
#磁盘格式化、挂载脚本
[root@node1 opt]# vim a.sh
#! /bin/bash
echo "the disks exist list:"
fdisk -l |grep '磁盘 /dev/sd[a-z]'
echo "=================================================="
PS3="chose which disk you want to create:"
select VAR in `ls /dev/sd*|grep -o 'sd[b-z]'|uniq` quit
docase $VAR insda)fdisk -l /dev/sdabreak ;;sd[b-z])#create partitionsecho "npw"  | fdisk /dev/$VAR#make filesystemmkfs.xfs -i size=512 /dev/${VAR}"1" &> /dev/null#mount the systemmkdir -p /data/${VAR}"1" &> /dev/nullecho -e "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0\n" >> /etc/fstabmount -a &> /dev/nullbreak ;;quit)break;;*)echo "wrong disk,please check again";;esac
done
#给于脚本执行权限
[root@node1 opt]# chmod +x a.sh

将脚本通过scp推送到其他三台服务器上

scp a.sh root@192.168.45.134:/opt
scp a.sh root@192.168.45.130:/opt
scp a.sh root@192.168.45.136:/opt

在四台服务器上执行脚本，并完成

这个只是样本

[root@node1 opt]# ./a.sh
the disks exist list:
==================================================
1) sdb
2) sdc
3) sdd
4) sde
5) quit
chose which disk you want to create:1      //选择要格式化的盘
Welcome to fdisk (util-linux 2.23.2).Changes will remain in memory only, until you decide to write them.
Be careful before using the write command.Device does not contain a recognized partition table
Building a new DOS disklabel with disk identifier 0x37029e96.Command (m for help): Partition type:p   primary (0 primary, 0 extended, 4 free)e   extended
Select (default p): Partition number (1-4, default 1): First sector (2048-41943039, default 2048): Using default value 2048
Last sector, +sectors or +size{K,M,G} (2048-41943039, default 41943039): Using default value 41943039
Partition 1 of type Linux and of size 20 GiB is setCommand (m for help): The partition table has been altered!Calling ioctl() to re-read partition table.
Syncing disks.

分别在四个服务器上查看挂载情况

在这里插入图片描述

4、设置hosts文件

在第一台node1上修改

#在文件末尾添加
vim /etc/hosts
192.168.45.133 node1
192.168.45.130 node2
192.168.45.134 node3
192.168.45.136 node4

通过scp将hosts文件推送给其他服务器和客户端

#将/etc/hosts文件推送给其他主机
[root@node1 opt]# scp /etc/hosts root@192.168.45.130:/etc/hosts
root@192.168.45.130's password: 
hosts                                      100%  242    23.6KB/s   00:00    
[root@node1 opt]# scp /etc/hosts root@192.168.45.134:/etc/hosts
root@192.168.45.134's password: 
hosts                                      100%  242   146.0KB/s   00:00    
[root@node1 opt]# scp /etc/hosts root@192.168.45.136:/etc/hosts
root@192.168.45.136's password: 
hosts                                      100%  242   146.0KB/s   00:00

在其他服务器上查看推送情况
在这里插入图片描述

关闭所有服务器和客户端的防火墙

[root@node1 ~]# systemctl stop firewalld.service 
[root@node1 ~]# setenforce 0

在客户端和服务器上搭建yum仓库

#进入yum文件路径
[root@node1 ~]# cd /etc/yum.repos.d/
#创建一个空文件夹
[root@node1 yum.repos.d]# mkdir abc
#将CentOS-文件全部移到到abc下
[root@node1 yum.repos.d]# mv CentOS-* abc
#创建私有yum源
[root@node1 yum.repos.d]# vim GLFS.repo
[demo]
name=demo
baseurl=http://123.56.134.27/demo
gpgcheck=0
enable=1[gfsrepo]
name=gfsrepo
baseurl=http://123.56.134.27/gfsrepo
gpgcheck=0
enable=1#重新加载yum源
[root@node1 yum.repos.d]# yum list

安装必要软件包

[root@node1 yum.repos.d]# yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma

在其他三台上进行同样的操作

在四台服务器上启动glusterd，并设置为开机自启动

[root@node1 yum.repos.d]# systemctl start glusterd.service 
[root@node1 yum.repos.d]# systemctl enable glusterd.service

添加节点信息

[root@node1 yum.repos.d]# gluster peer probe node2
peer probe: success. 
[root@node1 yum.repos.d]# gluster peer probe node3
peer probe: success. 
[root@node1 yum.repos.d]# gluster peer probe node4
peer probe: success.

在其他服务器上查看节点信息

[root@node1 yum.repos.d]# gluster peer status

在这里插入图片描述

创建分布式卷

#创建分布式卷
[root@node1 yum.repos.d]# gluster volume create dis-vol node1:/data/sdb1 node2:/data/sdb1 force
#检查信息
[root@node1 yum.repos.d]# gluster volume info dis-vol
#查看分布式现有卷
[root@node1 yum.repos.d]# gluster volume list
#启动卷
[root@node1 yum.repos.d]# gluster volume start dis-vol

在客户端上挂载

#递归创建挂载点
[root@manager yum.repos.d]# mkdir -p /text/dis
#将刚才创建的卷挂载到刚才创建的挂载点下
[root@manager yum.repos.d]# mount.glusterfs node1:dis-vol /text/dis
```![在这里插入图片描述](https://img-blog.csdnimg.cn/20191218165913488.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1BhcmhvaWE=,size_16,color_FFFFFF,t_70)
### 创建条带卷
```sql
#创建卷
[root@node1 yum.repos.d]# gluster volume create stripe-vol stripe 2 node1:/data/sdc1 node2:/data/sdc1 force
#查看现有卷
[root@node1 yum.repos.d]# gluster volume list
dis-vol
stripe-vol
#启动条带卷
[root@node1 yum.repos.d]# gluster volume start stripe-vol 
volume start: stripe-vol: success

在客户端挂载

#创建挂载点
[root@manager yum.repos.d]# mkdir /text/strip
#挂载条带卷
[root@manager yum.repos.d]# mount.glusterfs node1:/stripe-vol /text/strip/

创建复制卷

#创建复制卷
[root@node1 yum.repos.d]# gluster volume create rep-vol replica 2 node3:/data/sdb1 node4:/data/sdb1 force
volume create: rep-vol: success: please start the volume to access data
#开启复制卷
[root@node1 yum.repos.d]# gluster volume start rep-vol 
volume start: rep-vol: success

在客户机挂碍复制卷

[root@manager yum.repos.d]# mkdir /text/rep
[root@manager yum.repos.d]# mount.glusterfs node3:rep-vol /text/rep

创建分布式条带

#创建分布式条带卷
[root@node1 yum.repos.d]# gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force
volume create: dis-stripe: success: please start the volume to access data
#启动分布式条带卷
[root@node1 yum.repos.d]# gluster volume start dis-stripe 
volume start: dis-stripe: success

在客户机上挂载

[root@manager yum.repos.d]# mkdir /text/dis-strip
[root@manager yum.repos.d]# mount.glusterfs node4:dis-stripe /text/dis-strip/

创建分布式复制卷

#创建分布式复制卷
[root@node2 yum.repos.d]# gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force
volume create: dis-rep: success: please start the volume to access data
#开启复制卷
[root@node2 yum.repos.d]# gluster volume start dis-rep 
volume start: dis-rep: success
# 查看现有卷
[root@node2 yum.repos.d]# gluster volume list
dis-rep
dis-stripe
dis-vol
rep-vol
stripe-vol

在客户端挂载

[root@manager yum.repos.d]# mkdir /text/dis-rep
[root@manager yum.repos.d]# mount.glusterfs node3:dis-rep /text/dis-rep/

------------------------上边我们完成了卷的创建和挂载,现在我们来进行卷的测试

首先在客户机上创建5个40M的文件

[root@manager yum.repos.d]# dd if=/dev/zero of=/demo1.log bs=1M count=40
40+0 records in
40+0 records out
41943040 bytes (42 MB) copied, 0.0175819 s, 2.4 GB/s
[root@manager yum.repos.d]# dd if=/dev/zero of=/demo2.log bs=1M count=40
40+0 records in
40+0 records out
41943040 bytes (42 MB) copied, 0.269746 s, 155 MB/s
[root@manager yum.repos.d]# dd if=/dev/zero of=/demo3.log bs=1M count=40
40+0 records in
40+0 records out
41943040 bytes (42 MB) copied, 0.34134 s, 123 MB/s
[root@manager yum.repos.d]# dd if=/dev/zero of=/demo4.log bs=1M count=40
40+0 records in
40+0 records out
41943040 bytes (42 MB) copied, 1.55335 s, 27.0 MB/s
[root@manager yum.repos.d]# dd if=/dev/zero of=/demo5.log bs=1M count=40
40+0 records in
40+0 records out
41943040 bytes (42 MB) copied, 1.47974 s, 28.3 MB/s

然后复制5个文件到不同的卷上

[root@manager yum.repos.d]# cp /demo* /text/dis
[root@manager yum.repos.d]# cp /demo* /text/strip
[root@manager yum.repos.d]# cp /demo* /text/rep
[root@manager yum.repos.d]# cp /demo* /text/dis-strip
[root@manager yum.repos.d]# cp /demo* /text/dis-rep

查看卷的内容

查看分布式卷

在这里插入图片描述

查看条带卷

在这里插入图片描述

查看复制卷

在这里插入图片描述

查看分布式条带卷

在这里插入图片描述

查看分布式复制卷

在这里插入图片描述

故障测试

关闭node2服务器观察结果

[root@manager yum.repos.d]#  ls /text/
dis  dis-rep  dis-strip  rep  strip
[root@manager yum.repos.d]# ls /text/dis
demo1.log  demo2.log  demo3.log  demo4.log
[root@manager yum.repos.d]# ls /text/dis-rep
demo1.log  demo2.log  demo3.log  demo4.log  demo5.log
[root@manager yum.repos.d]# ls /text/dis-strip/
demo5.log
[root@manager yum.repos.d]# ls /text/rep/
demo1.log  demo2.log  demo3.log  demo4.log  demo5.log
[root@manager yum.repos.d]# ls /text/strip/
[root@manager yum.repos.d]#

结论:

 - 分布卷缺少demo5.log文件- 条带卷无法访问- 复制卷正常访问- 分布式条带卷缺少文件- 分布式复制卷正常访问

删除卷

要删除卷需要先停止卷，在删除卷的时候，卷组必须处于开启状态

#停止卷
[root@manager yum.repos.d]# gluster volume delete dis-vol
#删除卷
[root@manager yum.repos.d]# gluster volume delete dis-vol

访问控制

#仅拒绝
[root@manager yum.repos.d]# gluster volume set dis-vol auth.reject 192.168.45.133
#仅允许
[root@manager yum.repos.d]# gluster volume set dis-vol auth.allow 192.168.45.133

谢谢阅读!!!

查看全文
如若内容造成侵权/违法违规/事实不符，请联系编程学习网邮箱：809451989@qq.com进行投诉反馈，一经查实，立即删除！

shell脚本输出多个主机的网卡速率
背景：记录下之前的写过的shell脚本，需要整理出各个主机的各个网卡速率，网卡名称为bond0到bond3，使用ethtool bond1命令可以查看相应网卡的速率。因为有几十台主机，所以考虑使用shell脚本去查询。具体思路：查询单台主机单网卡速率命令： ethtool bond1 | grep Speed Sp…...
2024/4/24 8:21:17
kubernetes 控制器
1.基础 apiVersion: apps/v1 kind: Deployment metadata:name: myapp-deploynamespace: default spec:replicas: 2selector:matchLabels:app: myapprelease: devtemplate:metadata:labels:app: myapprelease: devspec:containers:- name: myapp-rongqiimage: ikubernetes/myapp…...
2024/4/24 8:21:16
Linux第一周
1、按系列罗列Linux的发行版，并描述不同发行版之间的联系与区别。三大流行版本Debian，Ubuntu，RedHat。Debian有三个版本分支：stable，testing和unstable。其中unstable是最新的测试版,适合桌面，testing的版本都经过unstable中的测试，stable一般用于服务器。…...
2024/4/24 8:21:14
nginx全局变量及rewrite实战
Rwrite相关全局变量coding.net/u/aminglinux/p/nginx/git/blob/master/rewrite/variable.mdRwrite实战coding.net/u/aminglinux/p/nginx/git/blob/master/rewrite/example.md nginx 常用全局变量变量说明$args 请求中的参数，如www.123.co…...
2024/4/24 8:21:13
nginx的location配置
Nginx的location配置安装第三方模块echo-nginx-module#git clone https://github.com/openresty/echo-nginx-module.git#./configure --add-module=/path/to/echo-nginx-modulelocation语法#location [=|^~|~|~] /uri/ { …. }#coding.net/u/aminglinux/p/nginx/git/blob/mast…...
2024/4/27 2:10:21
zabbix监控MSMQ队列消息数！
MSMQ全称MicroSoft Message Queue，微软消息队列,是在多个不同的应用之间实现相互通信的一种异步传输模式，相互通信的应用可以分布于同一台机器上，也可以分布于相连的网络空间中的任一位置。它的实现原理是：消息的发送者把自己想要发送的信息放入一个容器中（我们称之为Mess…...
2024/4/24 8:21:11
验证DNS的命令
验证DNS的命令试验环境域名服务器： dns3sv.te 192.168.1.65数据服务器1：bsdb1.te 192.168.15.1数据服务器2：bsdb2.te 192.168.15.2 DNS检验命令有host,nslookup,dig,ping等。 1.host命令 [root@dns3sv named]# host dns3sv.tedns3sv.te has address 192.168.1.65 [ro…...
2024/4/24 8:21:17
挂载有问题，开机启动不了，进入单用户模式进入修改fstab挂载文件
问题：因为挂载有问题，开机启动不了，需要进入单用户模式进入修改fstab挂载文件。 1、Linux系统开机，在3秒内按下啊e，然后跳转到内核界面。2、再按下e进入如下界面，选择kernel的一项，然后按下e键。用箭头移动到kernel这一行。3、第3次按下e键，进入这里，之后在上面内容末…...
2024/4/24 8:21:09
linux查看已删除空间却没有释放的进程
背景：rm删除了文件或者文件夹，df查看时发现没有释放磁盘空间。执行lsof -n | grep deleted这个命令。[root@localhost ~]#lsof -n | grep deleted #发现有几个删除了但是没有释放空间。[root@localhost ~]#kill -9 4291然后在df查看一下，发现空间减少了。[root@localho…...
2024/4/24 8:21:08
Apache服务的安装及工作模式介绍
我们都知道Linux上常见的web服务器有：apache、nginx、tomcat！其区别如下：apache：模块化服务器，支持模块较多、采用servlet处理模型，同步阻塞模型，工作模式多变，对于高并发的场景处理速度会比较慢，运行稳定。 nginx：轻量级web服务器，自身支持模块较少，需要借助第三方…...
2024/4/24 8:21:12
配置yum仓库
**[rhel-media] ：Yum软件仓库唯一标识符，避免与其他仓库冲突。 name=linuxprobe：Yum软件仓库的名称描述，易于识别仓库用处。 baseurl=file:///media/cdrom：提供的方式包括FTP（ftp://..）、HTTP（http://..）、本地（file:///..）。 enabled=1：设置此源是否可用；1为可用…...
2024/4/24 8:21:14
Linux下的网络配置 - CentOS 6.x
Linux下的网络配置 - CentOS 6.x 文本关键字：Linux、CentOS、网络服务、eth0、网卡配置项一、查看网络信息通常我们查看本机的网络是否正常，主要需要知道的就是网卡是否在正常工作，相关的网络信息（IP地址、广播地址、子网掩码等）是什么。除此之外，我们需要测试当前机器…...
2024/5/1 1:10:54
IDC机房为什么需要应用DCIM？
传统的数据中心在建设完成后，UPS容量及空调制冷量不易调整，而且服务器的应用数量通常也是固定的，管理相对比较容易。而在云时代，虚拟化使负载可以在服务器之间动态的迁移，IT设备的功耗会波动较大且比较频繁，随之而来的是对供电和制冷容量的动态需求。如果处理不好，易造成…...
2024/4/24 8:21:12
Dell r620 r720安装centos8之 kickstart 安装
update 2019-12-19 尝试升级新内核，发现已经稳定，要注意版本号 [root ~]# uname -r 4.18.0-80.11.2.el8_0.x86_64[root@ ~]# rpm -qa|grep dr dracut-049-10.git20190115.el8_0.1.x86_64 dracut-network-049-10.git20190115.el8_0.1.x86_64 google-droid-sans-fonts-2012071…...
2024/4/24 8:21:03
Dell r620 r720安装centos8之手动安装
前言 centos8已经发布了，本想着尝鲜安装到公司服务器，结果发现识别不了硬盘！经过查找发现，是redhat主动把驱动删掉了。讨论链接如下removal of SAS-2 controller drivers in RHEL 8 准备工作本教程只针对DellR620，R720。同时raid型号是LSI2008,LSI2108。 1.查看服务器rai…...
2024/4/19 22:01:57
克隆虚拟机CentOS6需要修改70-persistent-net文件
实验环境：准备一台centos6的虚拟机，克隆 1、将克隆好的虚拟机开机，编辑修改网卡的IP地址，保存好。vi /etc/sysconfig/network-scripts/ifcfg-eth02、重启网卡：service network restart，会发现重启失败，因为centos6克隆虚拟机还需要修改70-persistent-net.reles文件。…...
2024/4/17 22:28:57
为什么需要自定义一个基础镜像?
开始之前为什么需要自定义一个PHP基础镜像? 对于使用php (python)等开发的项目，由于是解释型语言并不需要编译代码这个步骤(go或者java将依赖打包到可执行程序或包中)，但是往往还需要安装一些依赖的库或者第三方模块。在项目实践中一般会先在PHP官方镜像之上，添加项目一…...
2024/4/18 20:03:26
cacti sendmail发送告警邮件
目的：接受异常告警邮件cacti发送邮件用的是内置的sendmail插件，第一步呢，我们需要确认插件是否存在，能否正常工作。一般cacti安装完毕后内置sendmail插件，当然我们也可以自行安装。1、查找sendmail[root@localhost sendEmail-v1.56]# find / -name sendmailetc/selinux/ta…...
2024/4/18 12:24:52
python爬取准备三 urllib2模块
urllib/urllib2默认的User-Agent是Python-urllib/2.7,容易被检查到是爬虫，所以我们要构造一个请求对象，要用到request方法。 1.查看Header信息2.设置User-Agent模仿浏览器访问数据 Request总共三个参数，除了必须要有url参数，还有下面两个：data（默认空）：是伴随 url 提交…...
2024/4/24 8:21:02
CentOS8的基础防火墙配置
1、安装yum install iptables-services #安装iptables 2、systemctl使用systemctl unmask firewalld #执行命令，即可实现取消服务的锁定systemctl mask firewalld # 下次需要锁定该服务时执行systemctl start firewalld.se…...
2024/4/24 8:21:01

GFS分布式文件系统集群(实例!!!)

GlusterFS概述

GlusterFS特点

GlusterFS术语

模块化堆栈式架构

GlusterFS工作原理

GlusterFS工作流程

弹性HASH算法

GlusterFS的卷类型

群集环境

卷类型

实验准备

1、为四台服务器服务器每台添加4个磁盘

2、修改服务器的名称

3、将四台服务器上的磁盘格式化，并挂载

在四台服务器上执行脚本，并完成

分别在四个服务器上查看挂载情况

4、设置hosts文件

关闭所有服务器和客户端的防火墙

在客户端和服务器上搭建yum仓库

安装必要软件包

在四台服务器上启动glusterd，并设置为开机自启动

添加节点信息

创建分布式卷

在客户端上挂载

在客户端挂载

创建复制卷

创建分布式条带

创建分布式复制卷

在客户端挂载

------------------------上边我们完成了卷的创建和挂载,现在我们来进行卷的测试

首先在客户机上创建5个40M的文件

然后复制5个文件到不同的卷上

查看卷的内容

查看分布式卷

查看条带卷

查看复制卷

查看分布式条带卷

查看分布式复制卷

故障测试

关闭node2服务器观察结果

结论:

删除卷

访问控制

谢谢阅读!!!

相关文章

最新文章