配置mongodb分片群集

配置mongodb分片群集
Sharding cluster介绍
这是一种可以水平扩展的模式，在数据量很大时特给力，数据量很大时一般会采用这种架构去构建monodb系统。

要构建一个 MongoDB Sharding Cluster，需要三种角色：
Shard Server: mongod 实例，用于存储实际的数据块，实际生产环境中一个shard server角色可由几台机器组个一个relica set承担，防止主机单点故障
Config Server: mongod 实例，存储了整个 Cluster Metadata，其中包括 chunk 信息。
Route Server: mongos 实例，前端路由，客户端由此接入，且让整个集群看上去像单一数据库，前端应用可以透明使用。

Sharding架构图:

实际环境架构
本例架构示例图：

1.分别在10.10.1.[107~109]机器运行一个mongod实例（称为mongod shard11，mongod shard12，mongod shard13）组织replica set1，作为cluster的shard1
2.分别在10.10.1.[107~109]机器运行一个mongod实例（称为mongod shard21，mongod shard22，mongod shard23）组织replica set2，作为cluster的shard2
3.分别在10.10.2.[89~91]机器运行一个mongod实例（称为mongod shard31，mongod shard32，mongod shard33）组织replica set3，作为cluster的shard3
4.分别在10.10.2.[89~91]机器运行一个mongod实例（称为mongod shard41，mongod shard42，mongod shard43）组织replica set4，作为cluster的shard4
5.1.107、1.108、2.89机器运行一个mongod实例，作为3个config server
6.每台机器运行一个mongs进程，用于客户端连接
主机 IP 端口信息
Server1 10.10.1.107 mongod shard11:27017
mongod shard21:27018
mongod config1:20000
mongs1:30000
Server2 10.10.1.108 mongod shard12:27017
mongod shard22:27018
mongod config2:20000
mongs2:30000
Server3 10.10.1.109 mongod shard13:27017
mongod shard23:27018
mongs3:30000
Server4 10.10.2.89 mongod shard31:27017
mongod shard41:27018
mongod config3:20000
mongs4:30000
Server5 10.10.2.90 mongod shard32:27017
mongod shard42:27018
mongs5:30000
Server6 10.10.2.91 mongod shard33:27017
mongod shard43:27018
mongs6:30000

各节点hosts文件添加
#shard1
10.10.1.107 MongoDB_shard11.itings.com
10.10.1.108 MongoDB_shard12.itings.com
10.10.1.109 MongoDB_shard13.itings.com

#shard2
10.10.1.107 MongoDB_shard21.itings.com  
10.10.1.108 MongoDB_shard22.itings.com 
10.10.1.109 MongoDB_shard23.itings.com #shard3
10.10.2.89  MongoDB_shard31.itings.com  
10.10.2.90  MongoDB_shard32.itings.com 
10.10.2.91  MongoDB_shard33.itings.com #shard4
10.10.2.89  MongoDB_shard41.itings.com  
10.10.2.90  MongoDB_shard42.itings.com 
10.10.2.91  MongoDB_shard43.itings.com #config1 
10.10.1.107 MongoDB_config1.itings.com  
10.10.1.108 MongoDB_config2.itings.com 
10.10.2.89  MongoDB_config3.itings.com #mongos
10.10.1.107 MongoDB_mongos1.itings.com  
10.10.1.108 MongoDB_mongos2.itings.com 
10.10.1.109 MongoDB_mongos3.itings.com 
10.10.2.89  MongoDB_mongos4.itings.com  
10.10.2.90  MongoDB_mongos5.itings.com 
10.10.2.91  MongoDB_mongos6.itings.com

软件准备
1.安装monodb软件
wget http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.4.9.tgz
tar xvzf mongodb-linux-x86_64-2.4.9.tgz
mv mongodb-linux-x86_64-2.4.9 /usr/local/mongodb

2.创建数据目录
根据本例sharding架构图所示，在各台sever上创建shard数据文件目录
Server1:
mkdir -p /data/mongodb/data/shard11
mkdir -p /data/mongodb/data/shard21

Server2:
mkdir -p /data/mongodb/data/shard12
mkdir -p /data/mongodb/data/shard22

Server3:
mkdir -p /data/mongodb/data/shard13
mkdir -p /data/mongodb/data/shard23

Server4:
mkdir -p /data/mongodb/data/shard31
mkdir -p /data/mongodb/data/shard41

Server5:
mkdir -p /data/mongodb/data/shard32
mkdir -p /data/mongodb/data/shard42
Server6:
mkdir -p /data/mongodb/data/shard33
mkdir -p /data/mongodb/data/shard43

配置relica sets
1.配置replica sets:
Server1:
/usr/local/mongodb/bin/mongod --shardsvr --replSet shard1 --port 27017 --dbpath /data/mongodb/data/shard11 --oplogSize 8192 --logpath /data/mongodb/data/shard11.log --logappend --fork

/usr/local/mongodb/bin/mongod --shardsvr --replSet shard2 --port 27018 --dbpath /data/mongodb/data/shard21 --oplogSize 8192 --logpath /data/mongodb/data/shard21.log --logappend --fork

Server2:
/usr/local/mongodb/bin/mongod --shardsvr --replSet shard1 --port 27017 --dbpath /data/mongodb/data/shard12 --oplogSize 8192 --logpath /data/mongodb/data/shard12.log --logappend --fork

/usr/local/mongodb/bin/mongod --shardsvr --replSet shard2 --port 27018 --dbpath /data/mongodb/data/shard22 --oplogSize 8192 --logpath /data/mongodb/data/shard22.log --logappend --fork

Server3:
/usr/local/mongodb/bin/mongod --shardsvr --replSet shard1 --port 27017 --dbpath /data/mongodb/data/shard13 --oplogSize 8192 --logpath /data/mongodb/data/shard13.log --logappend --fork

/usr/local/mongodb/bin/mongod --shardsvr --replSet shard2 --port 27018 --dbpath /data/mongodb/data/shard23 --oplogSize 8192 --logpath /data/mongodb/data/shard23.log --logappend --fork

Server4:
/usr/local/mongodb/bin/mongod --shardsvr --replSet shard3 --port 27017 --dbpath /data/mongodb/data/shard31 --oplogSize 8192 --logpath /data/mongodb/data/shard31.log --logappend --fork

/usr/local/mongodb/bin/mongod --shardsvr --replSet shard4 --port 27018 --dbpath /data/mongodb/data/shard41 --oplogSize 8192 --logpath /data/mongodb/data/shard41.log --logappend --fork

Server5:
/usr/local/mongodb/bin/mongod --shardsvr --replSet shard3 --port 27017 --dbpath /data/mongodb/data/shard32 --oplogSize 8192 --logpath /data/mongodb/data/shard32.log --logappend --fork

/usr/local/mongodb/bin/mongod --shardsvr --replSet shard4 --port 27018 --dbpath /data/mongodb/data/shard42 --oplogSize 8192 --logpath /data/mongodb/data/shard42.log --logappend --fork

Server6:
/usr/local/mongodb/bin/mongod --shardsvr --replSet shard3 --port 27017 --dbpath /data/mongodb/data/shard33 --oplogSize 8192 --logpath /data/mongodb/data/shard33.log --logappend --fork

/usr/local/mongodb/bin/mongod --shardsvr --replSet shard4 --port 27018 --dbpath /data/mongodb/data/shard43 --oplogSize 8192 --logpath /data/mongodb/data/shard43.log --logappend --fork

初始化replica set
用mongo连接其中一个mongod，执行:
/usr/local/mongodb/bin/mongo --host 10.10.1.107 --port 27017
config = {_id: 'shard1', members: [
{_id: 0, host: 'MongoDB_shard11.itings.com:27017'},
{_id: 1, host: 'MongoDB_shard12.itings.com:27017'},
{_id: 2, host: 'MongoDB_shard13.itings.com:27017'}]
}

rs.initiate(config);

/usr/local/mongodb/bin/mongo --host 10.10.1.107 --port 27018
config = {_id: 'shard2', members: [
{_id: 0, host: 'MongoDB_shard21.itings.com:27018'},
{_id: 1, host: 'MongoDB_shard22.itings.com:27018'},
{_id: 2, host: 'MongoDB_shard23.itings.com:27018'}]
}
rs.initiate(config);

初始化节点
/usr/local/mongodb/bin/mongo --host 10.10.2.89 --port 27017
config = {_id: 'shard3', members: [
{_id: 0, host: 'MongoDB_shard31.itings.com:27017'},
{_id: 1, host: 'MongoDB_shard32.itings.com:27017'},
{_id: 2, host: 'MongoDB_shard33.itings.com:27017'}]
}
rs.initiate(config);

/usr/local/mongodb/bin/mongo --host 10.10.2.89 --port 27018
初始化节点
config = {_id: 'shard4', members: [
{_id: 0, host: 'MongoDB_shard41.itings.com:27018'},
{_id: 1, host: 'MongoDB_shard42.itings.com:27018'},
{_id: 2, host: 'MongoDB_shard43.itings.com:27018'}]
}
rs.initiate(config);
配置三台config server
Server1机器
mkdir -p /data/mongodb/data/config
启动configserver1
/usr/local/mongodb/bin/mongod --configsvr --dbpath /data/mongodb/data/config --port 20000 --logpath /data/mongodb/data/config.log --logappend --fork

Server2机器
mkdir -p /data/mongodb/data/config
启动configserver2
/usr/local/mongodb/bin/mongod --configsvr --dbpath /data/mongodb/data/config --port 20000 --logpath /data/mongodb/data/config.log --logappend --fork

Server4机器
mkdir -p /data/mongodb/data/config
启动configserver3
/usr/local/mongodb/bin/mongod --configsvr --dbpath /data/mongodb/data/config --port 20000 --logpath /data/mongodb/data/config.log --logappend --fork

配置mongs
所有机器都启动mongos
/usr/local/mongodb/bin/mongos --configdb MongoDB_config1.itings.com:20000,MongoDB_config2.itings.com:20000,MongoDB_config3.itings.com:20000 --port 30000 --chunkSize 5 --logpath /data/mongodb/data/mongos.log --logappend --fork
#mongs不需要dbpath
Configuring the Shard Cluster
连接到其中一个mongos进程，并切换到admin数据库做以下配置
1.连接到mongs，并切换到admin
/usr/local/mongodb/bin/mongo MongoDB_mongos1.itings.com:30000/admin

2.加入shards
db.runCommand( { addshard : "shard1/MongoDB_shard11.itings.com:27017,MongoDB_shard12.itings.com:27017,MongoDB_shard13.itings.com:27017",name:"s1"} );
db.runCommand( { addshard : "shard2/MongoDB_shard21.itings.com:27018,MongoDB_shard22.itings.com:27018,MongoDB_shard23.itings.com:27018",name:"s2"} );
db.runCommand( { addshard : "shard3/MongoDB_shard31.itings.com:27017,MongoDB_shard32.itings.com:27017,MongoDB_shard33.itings.com:27017",name:"s3"} );
db.runCommand( { addshard : "shard4/MongoDB_shard41.itings.com:27018,MongoDB_shard42.itings.com:27018,MongoDB_shard43.itings.com:27018",name:"s4"} );

获得分片概要信息：
db.printShardingStatus();

3.可选参数
Name:用于指定每个shard的名字，不指定的话系统将自动分配
maxSize:指定各个shard可使用的最大磁盘空间，单位megabytes
样例:
db.runCommand( { addshard : "shard1/MongoDB_shard11.itings.com:27017,MongoDB_shard12.itings.com:27017,MongoDB_shard13.itings.com:27017",name:"s1",maxSize: 512000} );

获得分片概要信息：
db.printShardingStatus();
db.user.getShardDistribution();
db.runCommand( { listshards : 1 } );

查看各collection的状态
db.printCollectionStats()

激活分片样例
db.runCommand({"enablesharding" : "kaola_play"});
db.runCommand( { shardcollection : "kaola_play.user",key : {_id: 1} } );
附录：mongodb运行模式介绍
单机模式
Replication模式，这又可分为Master-Slave Replication和Replica Sets
Sharding模式

1.单机模式
这里有目前的mongodb 1.6.2版本作介绍，mongodb安装后目录结构如下图所示非常简单，所占空间也不到100M

通过执行bin/mongod –dbpath <数据文件目录>就可以启动mongodb实例（暂且也称为实例），与mysql类似，一个mongodb实例里可以创建多个数据库。同一台主机也可以起多个mongodb实例

1.Replication模式
MongoDB提供在sever之间异步数据复制功能，用于failover和数据冗余。从1.6版本起多了replica sets功能，1.6版本之前只有Master/Slave replication结构
Mster-Slave Relication 跟mysql的M/S结构很类似
Relica Sets 1.6版本开始推出的新功能，能自动故障切换

关于Mster-Slave Relication和 Relica Sets，怎么选择呢？
Which should I use?
if using <v1.6 : master/slave 1.6版本之前，那就没得选，只有M/S
if need automatic fail-over and recovery (easy administration): replica sets 想做倒自动故障切换，那就用replica sets
if using --auth (security) or --slavedelay : for now, master/slave 想指定slave延迟时间，就用M/S
if using sharding : either, but replica sets are best for clusters that are not small 用sharding架构时
if risk averse : master/slave (replica sets are new to v1.6.0) 顾虑风险的话，用m/s

个人理解，从1.6版本推出relica sets开始，逐渐推荐用relica sets这种模式，能自动故障恢复，sharding模式中也会用到

2.Sharding模式
这是一种可以水平扩展的模式，在数据量很大时特给力,一般企业级应用中都会采用这种架构去构建monodb系统。

要构建一个 MongoDB Sharding Cluster，需要三种角色：
Shard Server: mongod 实例，用于存储实际的数据块，实际生产环境中一个shard server可由几台机器组个一个relica set承担，防止主机单点故障
Config Server: mongod 实例，存储了整个 Cluster Metadata，其中包括 chunk 信息。
Route Server: mongos 实例，前端路由，客户端由此接入，且让整个集群看上去像单一数据库，前端应用可以透明使用。

查看全文
如若内容造成侵权/违法违规/事实不符，请联系编程学习网邮箱：809451989@qq.com进行投诉反馈，一经查实，立即删除！

centos 7.5 1804编译安装nginx 1.16.0
1、安装依赖组件yum install -y gcc gcc-c++ pcre pcre-devel zlib zlib-devel openssl openssl-devel 2、下载安装包wget https://nginx.org/download/nginx-1.16.0.tar.gz 3、编译安装tar zxvf nginx-1.16.0.tar.gzcd nginx-1.16.0./configure --prefix=/usr/local/nginxmak…...
2024/5/7 15:36:14
dockce启动httpd+git
一、说明： conf目录下:主要copy的文件时httpd.conf，主要是配置apache可以访问到git并通过账号密码控制git-team.htpasswd: 这个文件提供了初始化的用户，主要包含两个，分别是usertest/admin[附件:httpd.conf] [附件:git-team.htpasswd] 二、创建DockerFile FROM centos:cent…...
2024/5/7 23:47:07
源码安装nginx到指定目录
首先是全部步骤概括 yum install libaio ncurses gcc gcc-c++ cmake ncurses-devel wget yum install pcre-devel zlib-devel wget http://nginx.org/download/nginx-1.16.1.tar.gz # 下载源码包 tar -zxvf nginx-1.16.1.tar.gz cd nginx-1.16.1 ./configure --prefix=/opt/ngi…...
2024/4/30 18:13:05
[社群QA] “专家坐诊”第49期问答汇总
Q：zabbix4.4是不是就是使用perfmon进行windows监控的A：zabbix4.4有这个功能，但不是从4.4版本开始的Q：了解 Q：请教一下这里的上是什么意思呀？动作里的自动发现和菜单里的自动发现是相同的么？ A：上是up 的意思，翻译的问题 Q：动作里的自动发现和菜单里的自动发现是相同的…...
2024/5/1 0:16:04
关于python变量练习题
python变量练习题第一题（数字相加） age=20new_age=age+1print(new_age) 第二题（字符串相加） name=xiunew_name=name+hbprint(new_name) 第三题（字符串相加）数字带引号的就是字符串 number=888new_number=age+888print(new_number) 第四题（字符串与数字不能相加，会报错…...
2024/5/1 4:18:39
gitlab搭建
gitlab官网 https://about.gitlab.com/gitlab-com/官方安装文档 https://about.gitlab.com/installation/?version=ce#centos-7 (ce/ee)要求服务器内存不少于2g国外比较慢，所以我们用国内源 vim /etc/yum.repos.d/gitlab.repo//加入如下内容[gitlab-ce]name=Gitlab CE Reposi…...
2024/4/30 16:55:29
centos搭建svn
Subversion 官网http://subversion.tigris.org/http://subversion.apache.orgsvn客户端http://tortoisesvn.netsvn中文网站http://www.iusesvn.com 中文常见问题解答AQhttp://subversion.apache.org/faq.zh.html 官方手册http://svnbook.red-bean.com/ 中英文都有 svn 服务端…...
2024/4/30 19:02:37
zabbix3.0安装
Linux：centos 7.3nginx：1.9.15MySQL：5.5.49PHP：5.5.35一、安装nginx：安装依赖包： yum -y install gcc gcc-c++ autoconf automake zlib zlib-devel openssl openssl-devel pcre* make gd-devel libjpeg-devel libpng-devel libxml2-devel bzip2-devel libcurl-devel 创建…...
2024/5/1 3:17:00
zabbix邮件告警
参考：http://blog.csdn.net/xiegh2014/article/details/538984221、sendEmail安装cd /usr/local/src/wget http://caspian.dotconf.net/menu/Software/SendEmail/sendEmail-v1.56.tar.gzyum install perl-Net-SSLeay perl-IO-Socket-SSL -ytar -xvf sendEmail-v1.56.tar.gz cd…...
2024/4/30 21:44:24
zabbix监控web站点
web检测监控参考：http://www.linuxidc.com/Linux/2016-11/137638p8.htmweb方案监控项当web监控项创建好之后，下面的key会被自动添加好key描述web.test.in[Scenario,,bps]整个阶段中的下载速度，单位字节/秒类型: Numeric(float)web.test.fail[Scenario]整个检测阶段，失败…...
2024/4/30 23:53:06
elasticsearch搭建及配置
ELK搭建及配置1、在两台机器上分别新添加磁盘，格式化，挂载，专门用于ELKmkfs.xfs /dev/sdbmkdir /data1mount /dev/sdb /data1blkid /dev/sdb #查询磁盘的uuid，使用uuid挂载,以防止服务器重启时磁盘名称变化vim /etc/fstabdd86fef0-3873-4767-bc9a-dc673dcecb5a /data1 …...
2024/4/30 23:02:26
分布式监控系统 WGCLOUD-v2.3.1正式发布
WGCLOUD基于java语言开发，是微服务架构的分布式监控系统，核心模块包括：服务器集群监控，ES集群状态监控，CPU监控，内存监控，数据监控（mysql，postgresql，oracle），服务心跳检测，应用进程管理，磁盘IO监控，系统负载监控，监控告警信息推送。比起zabbix监控工具，它更轻…...
2024/4/30 20:09:06
CentOS7下LVM创建管理
先了解几个概念：PV(physical volume)：物理卷在逻辑卷管理系统最底层，可为整个物理硬盘或实际物理硬盘上的分区。命令：pvdisplay VG(volume group)：卷组建立在物理卷上，一卷组中至少要包括一物理卷，卷组建立后可动态的添加卷到卷组中，一个逻辑卷管理系统工程中可有多个卷…...
2024/4/30 21:46:15
Weblogic12.1.3.0补丁安装（win server与linux安装步骤介绍）
文章目录1 根据oracle官方发布的漏洞报告下载补丁2 补丁包上传解压到Linux Server3 补丁包上传解压到Windows Server4 关于OPatch5 Linux与Windows安装补丁区别6 Linux安装补丁6.1 Linux单个补丁安装6.2 查看已安装的补丁6.3 多个补丁安装6.4 单个补丁回滚6.5 多个补丁回滚6.6 …...
2024/4/30 16:05:13
03-使用docker镜像
Docker镜像镜像是Docker三个核心概念中最重要的，运行流程为Docker运行——本地是否存在对应镜像——若不存在Docker尝试从默认镜像仓库下载，用户也可以自定义配置镜像仓库获取镜像格式为docker [image] pull NAME[:TAG]其中NAME是镜像仓库名称，TAG是镜像的标签（往往用来…...
2024/5/1 4:29:47
4. 配置服务器yum仓库
1. 配置yum仓库vi /etc/yum.repos.d/aaa.repo[rhel-media] # 仓库标识符，唯一name=lfbaseurl=file:///media/cdromenabled=1 # 设置为源是否可用，1为可用，0为禁用gpgcheck=1 # 是否校验，1为校验，0为不校验 gpgkey=file:/// # 若上面参数开启校验，则需要指定公钥文件地址…...
2024/5/1 1:15:38
OSSIM已经连续 8 次进入 Garthner SIEM魔力象限
2018年7月在美国AT&T在收购AlienVault公司之后，成立了AT&T旗下专门研发SIEM产品的独立部门，原AlienVault首席执行官担任负责人，重点研发OSSIM商业产品，主要针对大中型企业提供统一安全管理平台（USM）、开放式 threat(*关键词屏蔽了) 情报交换平台（OTX），实现了在…...
2024/5/1 4:29:01
记一次zimbra服务器故障导致mysql起不来问题
记一次zimbra服务器故障导致mysql起不来问题服务器有一天突然访问不了，局域网连接不上，去机房查看，硬盘灯亮着，屏黑的，按电源键没法关机，没办法，只能强制关机了。强制关机后，启动起来，登陆进去看。zmcontrol status过了好久才出现内容，提示如下:Unable to determine …...
2024/4/30 22:44:46
Python操作Excel之数据提取
最近发现excel数据量极大，并且通过简单的数据操作不能提取到我需要的数据，如果单独操作，数据量太大耗时太长。想着通过简单的方式，并且快速提取数据，就想到了Python。python操作Excel使用的openyxl和pandas对Excel进行操作。代码如下： #!/usr/bin/env python # -*- codin…...
2024/4/30 17:35:54
记一次linux服务器被挂马的处理过程
有断时间突然发现zimbra邮件服务器过几天就卡死，得重启才能恢复,卡的时候根本用不了命令，按服务器关机键都没办法关机，只能强制重启。连续观察好几天，通过sar -f /var/log/sarxx查看日志发现，CPU使用率隔一阵子就会390%或者更多，但是这个sar只能查看系统层面的，没法查看…...
2024/4/30 21:23:35

配置mongodb分片群集

相关文章

最新文章