MongoDB

第1章 数据库管理系统

1.1 什么是数据?

数据是指未经过处理的原始记录,一般而言,数据缺乏组织及分类,无法明确的表达事物代表的意义,数据描述事物可以是描述事物的符号记录,是可定义为意义的实体,设计事物的存在形式,是关于事件之一组离散且客观的事实藐视,是构成讯息和知识的原始材料

1.2 什么是数据库管理系统?

Ø  数据库管理系统,是一种针对对象数据库,为管理数据库而设计的大型电脑软件管理系统,

Ø  具有代表性的数据管理系统有: Oracle、Microsoft SQL Server、Access、MySQL及PostgreSQL等,通常数据库管理员会使用数据库管理系统来创建数据库系统

Ø  现代DBMS使用不同的数据库模型追踪实体,属性和关系,在个人电脑,大型计算机和主机上应用最广泛的数据库管理系统是关系型DBMS,在关系型数据库模型中,用二维表格表示数据库中的数据,这些表格称为关系

Ø  数据库管理系统分为两大类:RDBMS;Nosql

第2章 NoSQL是什么?

2.1 NoSQL简介:

Ø  nosql是对不同于传统关系型数据库的数据库管理系统的统称,

Ø  两者存在许多显著不同点,其中最重要的就是nosql不使用sql作为查询语言,其数据存储可以不需要固定的表格模式,也经常会避免使用sql的join操作,一般有水平可扩展的特征

Ø  NoSQL一词最早出现于1998年，是Carlo Strozzi开发的一个轻量、开源、不提供SQL功能的关系数据库。

2.2 nosql数据库四大家族:

2.3 NoSQL的优势:

Ø  高可扩展性,分布式计算,没有复杂的关系,低成本

Ø  架构灵活,半结构化数据

2.4 nosql与RDBMS对比:

第3章 MongoDB简介:

3.1 MongoDB的三大特性:

1.1.1 还支持以下特点:

　二级索引、动态查询、全文搜索 、聚合框架、MapReduce、GridFS、地理位置索引、内存引擎 、地理分布等一系列的强大功能。

1.1.2 缺点，例如：

Ø  　　多表关联： 仅仅支持Left Outer Join

Ø  　　SQL 语句支持： 查询为主，部分支持

Ø  　　多表原子事务： 不支持

Ø  　　多文档原子事务：不支持

Ø  　　16MB 文档大小限制，不支持中文排序 ，服务端 Javascript 性能欠佳

1.2 关系型数据库与MongoDB对比:

Ø  在传统的关系型数据库中,存储方式以表的形式存放,而在MongoDB中,以文档的形式存在:

Ø  数据库中的对应关系,以存储形式说明:

1.1.1 MongoDB与sql结构对比详解:

1.2 MongoDB数据存储格式:

Ø  JSON格式:

JSON数据格式与语言无关脱胎于JavaScript,但目前很多编程语言都支持json格式数据的生成和解析,json的官方mime类型是application/json,文件扩展名是.json

MongoDB使用json文档存储记录

json数据库语言可以容易被解析

web应用大量使用,name-value配对

Ø  BSON格式:

BSON是由10gen开发的数据格式,目前主要用于MongoDB中,是MongoDB的数据存储格式,BSON基于JSON格式,选择json进行改进的原因是JSON通用性以及JSON放入schemaless特性

二进制的JSON,JSON文档的二进制编码存储格式

BSON有JSON没有data和bindata

MongoDB中document以BSON形式存放

例如:

db.meeting.insert({meeting:“M1 June",Date:"2018-01-06"});

1.1 MongoDB的优势:

开源产品

功能丰富:JSON文档模式,动态的数据模式,二级索引强大,自动分片,水平扩展,自动复制,高可用,文本搜索,企业级安全聚合框架MapReduce,大文件存储GirdFS

1.1.1 高可用复制集群:

自动复制和故障自动切换

多数据中心支持滚动维护无需关机支持最多50个成员

1.1.1 水平扩展:

这种方式hi目前架构上的主流形式,指的是增加服务器数量来对系统扩容,在这样的架构下,单台服务器的配置不会很高,可能是配置比较低,很廉价的PC,每台机器承载着系统的一个子集,所有机器服务器组成的集群会比单体服务器提供更强大的高效的系统容载量

这样的问题是系统架构会比单体服务器复杂,搭建,维护都要求更高的技术背景分片集群架构如图:

1.1 MongoDB使用场景:

Ø  网站数据,缓存等大尺寸,低价值的数据

Ø  在高伸缩性的场景,用于对象及JSON数据的存储

1.2 什么时候该选择MongoDB呢?

Ø  数据量有亿万级或者需要不断扩容的

Ø  需要2000-3000以上的每秒读写

Ø  新应用,需求不定,数据模型无法确定

Ø  需要整合多个外部数据源

Ø  系统徐亚99.999%的高可用

Ø  系统需要大量地理位置查询

Ø  系统需要提供最小的latency

Ø  我要管理的对象小于10

第2章 MongoDB部署:

2.1 下载地址:

Ø  　　MongoDB官网：https://www.mongodb.com/

Ø  　  CentOS6.X版本软件下载地址：https://www.mongodb.org/dl/linux/x86_64-rhel62

2.2 安装前的准备:

检查该版本是否支持你的操作系统

Ø  更多详情查看: https://docs.mongodb.com/manual/installation/ 

1.1.1 在root用户下关闭大页内存:

[root@web04 tools]# cat /etc/rc.local

#!/bin/bash

if test -f /sys/kernel/mm/transparent_hugepage/enabled; then

  echo never > /sys/kernel/mm/transparent_hugepage/enabled

fi

if test -f /sys/kernel/mm/transparent_hugepage/defrag; then

   echo never > /sys/kernel/mm/transparent_hugepage/defrag

fi

其他系统关闭参照官方文档：
https://docs.mongodb.com/manual/tutorial/transparent-huge-pages/

1.1.2 为什么要关闭呢?

Transparent Huge Pages (THP) is a Linux memory management system

that reduces the overhead of Translation Lookaside Buffer (TLB)

lookups on machines with large amounts of memory by using larger memory pages.

However, database workloads often perform poorly with THP,

because they tend to have sparse rather than contiguous memory access patterns.

You should disable THP on Linux machines to ensure best performance with MongoDB.

1.2 MongoDB安装:

下载软件:

wget http://downloads.mongodb.org/linux/mongodb-linux-x86_64-rhel62-3.2.8.tgz

创建用户并修改密码:

groupadd -g 800 mongod

useradd  -u 801 -g mongod  mongod

echo 123456 |passwd --stdin  mongod

创建目录结构:

mkdir -p /mongodb/bin

mkdir -p /mongodb/conf

mkdir -p /mongodb/log

mkdir -p /mongodb/data

解压软件并上传到指定位置:

tar xf mongodb-linux-x86_64-3.2.8.tgz

cd /server/tools/mongodb-linux-x86_64-3.2.8

cp * /mongodb/bin/

配置文件内容:

systemLog:

   destination: file

   path: "/mongodb/log/mongod.log"

   logAppend: true

storage:

   journal:

      enabled: true

   dbPath: "/mongodb/data"

processManagement:

   fork: true

net:

   port: 27017

security:

   authorization: enabled

修改程序目录属主:

chown -R mongod.mongod /mongodb/

设置用户环境变量:

su - mongod

vi .bash_profile

export PATH=/mongodb/bin:$PATH

source .bash_profile

第2章 管理MongoDB:

2.1 启动MongoDB:

mongod --dbpath=/mongodb/data --logpath=/mongodb/log/mongodb.log --port=27017 --logappend --fork

2.2 参数说明:

2.3 登录数据库:

mongo

MongoDB shell version: 3.2.8

connecting to: test

Welcome to the MongoDB shell.

For interactive help, type "help".

For more comprehensive documentation, see

    http://docs.mongodb.org/

Questions? Try the support group

    http://groups.google.com/group/mongodb-user

>

> 

2.3.1 配置文件:

[mongod@web04 conf]$ vim mongodb.conf

logpath=/mongodb/log/mongodb.log

dbpath=/mongodb/data

port=27017

logappend=1

fork=1

[mongod@web04 conf]$ pkill mongod

[mongod@web04 conf]$ mongod -f /mongodb/conf/mongodb.conf

about to fork child process, waiting until server is ready for connections.

forked process: 1562

child process started successfully, parent exiting

2.3.2 yaml格式配置文件:

systemLog:

   destination: file

   path: "/application/mongodb/log/mongod.log"

   logAppend: true

storage:

   journal:

      enabled: true

   dbPath: "/application/mongodb/data"

processManagement:

   fork: true

net:

   port: 27017

2.4 MongoDB多种关闭方式:

mongod -f /mongodb/conf/mongodb.conf shutdown

或者登陆到mongodb中，use到admin库下：

admin> db.shutdownServer()

或

admin> db.adminCommand({shutdown:1})

第3章 MongoDB基本操作:

3.1 常用的命令种类:

db ----> 数据库和数据库对象管理类

rs. ----> 复制集有关管理命令

show ----> 查询数据库一些基本状态

sh. ----> 集群有关管理类命令

3.1.1 在客户端指定数据库进行连接(默认连接本机的test库)

[mongod@web04 conf]$ mongo 10.0.0.18/admin

MongoDB shell version: 3.2.8

connecting to: 10.0.0.18/admin

> 

3.1.2 切库:

> use test

switched to db test

3.1.3 查看当前数据库版本:

> db.version()

3.2.8

3.1.4 显示当前数据库:

> db

test

> db.getName()

test

3.1.5 查看当前数据库状态:

> db.stats()

{

    "db" : "jiang",

    "collections" : 1,

    "objects" : 0,

    "avgObjSize" : 0,

    "dataSize" : 0,

    "storageSize" : 4096,

    "numExtents" : 0,

    "indexes" : 1,

    "indexSize" : 4096,

    "ok" : 1

}

3.1.6 显示所有数据库:

> show databases

jiang  0.000GB

local  0.000GB

> show dbs

jiang  0.000GB

local  0.000GB

第4章 数据管理:

4.1 创建集合(相当于create table)

方法一:

> db.createCollection('t1')

{ "ok" : 1 }

> show tables

t1

方法二:当插入一个文档的时候,一个集合就会自动创建

> db.t2.insert({name:"daya"})

WriteResult({ "nInserted" : 1 })

> show tables  

t1

t2

4.2 查看创建好的合集(库中的表):

> db.getCollectionNames()

[ "t1", "t2" ]

4.3 查看表中内容:

> db.t2.find()

{ "_id" : ObjectId("5ad69e4014cea9ca81c9ae44"), "name" : "daya" }

4.4 批量插入一万行数据:

> for(i=0;i<10000;i++){ db.log.insert({"uid":i,"name":"mongodb","age":6,"date":new Date()}); }

WriteResult({ "nInserted" : 1 })

4.5 查询集合中有多少行数据:

> db.log.find().count()

10000

4.6 删除所有合集:

> db.log.remove({})

WriteResult({ "nRemoved" : 10000 })

4.7 查询集合存储信息:

> db.log.stats()          # 查看数据状态

> db.log.dataSize()       # 集合中数据的原始大小

> db.log.totalIndexSize() # 集合中索引数据的原始大小

> db.log.totalSize()      # 集合中索引+数据压缩存储之后的大小

> db.log.storageSize()    # 集合中数据压缩存储的大小

第5章 MongoDB用户管理:

MongoDB数据库默认是没有用户名及密码的,即无权限访问控制,为了方便数据库的管理和安全,需要创建数据库用户

5.1 用户的权限:

用户中权限的说明

5.2 用户创建语法:

{

user: "<name>",

pwd: "<cleartext password>",

customData: { <any information> },

roles: [

{ role: "<role>",

db: "<database>" } | "<role>",

...

]

}

user字段：用户的名字;

pwd字段：用户的密码;

cusomData字段：为任意内容，例如可以为用户全名介绍;

roles字段：指定用户的角色，可以用一个空数组给新用户设定空角色；

roles 字段：可以指定内置角色和用户定义的角色。

5.3 创建超级管理员用户:

> db.createUser(

...   {

...     user: "root",

...     pwd: "root",

...     roles: [ { role: "root", db: "admin" } ]

...   }

... )

5.3.1 注意:

1.      创建管理员角色用户的时候,必须到admin下创建

2.      删除的时候也要到响应的库下操作

5.3.2 查看创建完成的用户:

> show users

{

    "_id" : "admin.root",

    "user" : "root",

    "db" : "admin",

    "roles" : [

        {

            "role" : "root",

            "db" : "admin"

        }

    ]

}

5.3.3 验证用户:

> db.auth('root', 'root')

1

5.3.4 用户创建完成后在配置文件中开启用户验证:

cat >>/mongodb/conf/mongodb.conf<<-'EOF'

security:

   authorization: enabled

EOF

5.3.5 重启数据库

mongod -f /mongodb/conf/mongodb.conf

mongod -f /mongodb/conf/mongodb.conf shutdown

5.3.6 登录数据库:

方法一:

mongo 10.0.0.18/admin -uroot –proot

方法二:

mongo 10.0.0.18/admin

> db.auth('root', 'root')

1

5.4 自定义数据库

5.4.1 创建app数据库的管理员

> use app

switched to db app

> db.createUser(

...   {

...     user: "admin",

...     pwd: "admin",

...     roles: [ { role: "dbAdmin", db: "app" } ]

...   }

... )

Successfully added user: {

    "user" : "admin",

    "roles" : [

        {

            "role" : "dbAdmin",

            "db" : "app"

        }

    ]

}

> db.auth('admin','admin')

1

5.4.2 创建zabbix用户,可读可写权限

> db.createUser(

... {

...   user: "zabbix",

...   pwd: "zabbix",

...   roles: ["readWrite"]

... }

... )

Successfully added user: { "user" : "zabbix", "roles" : [ "readWrite" ] }

> db.auth('zabbix', 'zabbix')

1

5.4.3 创建一个zabbix库的只读用户test1用户

> db.createUser(

... {

...   user: "test1",

...   pwd: "test1",

...   roles: ["read"]

... }

... )

5.4.4 删除用户:

> use zabbix

switched to db zabbix

> db.dropUser("test1")

true