Mongodb3分片部署及故障模拟验证

本文分两部分介绍mongodb3.2.1分片部署配置及故障模拟验证。

第一部分  安装配置

一、实验环境

两组副本集做分片

版本3.2.1

副本集1：192.168.115.11:27017,192.168.115.12:27017,192.168.115.11:47017(arbiter)

副本集2：192.168.115.11:37017,192.168.115.12:37017,192.168.115.12:47017(arbiter)

configserver：192.168.115.11:10000,192.168.115.11:10001,192.168.115.12:10000

mongos：192.168.115.11:20000

二、分片介绍

1.逻辑图

片（shard）：每一个分片一个副本集

配置服务器（config server）：存储集群的配置信息，3.2以上版本支持副本集模式部署

路由进程（mongos）：路由所有请求，然后将结果聚合。它不保存存储数据或配置信息，配置信息从配置服务器上加载到内存中。

副本集方式部署confiserver

一、部署条件

1.集群中不能有仲裁节点

2.集群中不能有延迟节点

3.每个成员必须可以创建索引

二、configserver安装配置

1.修改配置文件（其他两个节点配置文件类似，主要修改监听端口，及数据路径，如果一台机器上运行多个实例，注意配置文件名称要不一样）

cat config.conf
fork = true
quiet = true
port = 10000
dbpath = /data/config
logpath = /usr/local/mongodb/logs/config.log
logappend = true
directoryperdb = true
configsvr = true
replSet = hnrconfig/192.168.115.11:10000,192.168.115.11:10001,192.168.115.12:10000

2.服务启动和停止

/usr/local/mongodb/bin/mongod
-f /usr/local/mongodb/etc/config.conf

/usr/local/mongodb/bin/mongod --shutdown
--port 10000 --dbpath=/data/config

3.配置副本集

连接任意一个节点进行配置

> show dbs

2016-11-17T09:06:08.088+0800
E QUERY    [thread1] Error: listDatabases
failed:{ "ok" : 0, "errmsg" : "not master and
slaveOk=false", "code" : 13435 } :

[email protected]/mongo/shell/utils.js:23:13

[email protected]/mongo/shell/mongo.js:53:1

[email protected]/mongo/shell/utils.js:700:19

[email protected]/mongo/shell/utils.js:594:15

@(shellhelp2):1:1

出现以上错误，需要执行

> rs.slaveOk()

> use admin

>
db.runCommand({"replSetInitiate" : { "_id" :
"hnrconfig" ,"members" : [ { "_id" : 1,
"host" : "192.168.115.11:10000"},{ "_id" : 2,
"host" : "192.168.115.12:10000"},{"_id" : 3,
"host" : "192.168.115.11:10001"}]}})

{ "ok" : 1
}

三、mongos配置

1.配置文件

cat mongos.conf
fork = true
quiet = true
port = 20000
logpath = /usr/local/mongodb/logs/mongos.log
logappend = true
configdb = 192.168.115.11:10000,192.168.115.11:10001,192.168.115.12:10000

2.启动mongos服务

/usr/local/mongodb/bin/mongos
-f /usr/local/mongodb/etc/mongos.conf

四、往集群中添加分片

连接mongos

mongos>
sh.addShard("hnrtest1/192.168.115.11:27017")

{
"shardAdded" : "hnrtest1", "ok" : 1 }

mongos>

mongos>
sh.addShard("hnrtest2/192.168.115.12:37017")

{
"shardAdded" : "hnrtest2", "ok" : 1 }

mongos>

五、开启分片

1.先对数据库启用分片功能

mongos>
sh.enableSharding("shardtest")

{ "ok" : 1
}

mongos>

2.对集合开启分片（自动分片建）

mongos>
sh.shardCollection("shardtest.student",{"cre_id":1})

{
"collectionsharded" : "shardtest.student", "ok" :
1 }

mongos>

3.修改默认chunk大小（默认为64M），自动分片测试效果不好，需要插入大量数据，将其修改为1M

mongos> use config

mongos>
db.settings.save({ "_id" : "chunksize", "value" :
NumberLong(1) })

修改后对student2集合进行分片

mongos>
sh.shardCollection("shardtest.student2",{"cre_id":1})

插入5万条数据

直接在后端分片副本集上查询

hnrtest2:PRIMARY>
db.student2.find().count()

27081

hnrtest2:PRIMARY>

hnrtest1:PRIMARY>
db.student2.find().count()

22918

hnrtest1:PRIMARY>

4.采用哈希分片

修改chunk为默认值64M

mongos>
db.settings.save({ "_id" : "chunksize", "value" :
NumberLong(64) })

student3集合在cre_id字段使用哈希分片

mongos>
sh.shardCollection("shardtest.student3",{"cre_id":"hashed"})

{
"collectionsharded" : "shardtest.student3", "ok"
: 1 }

mongos>
sh.status()

shardtest.student3

shard key: {
"cre_id" : "hashed" }

unique: false

balancing: true

chunks:

hnrtest1        2

hnrtest2        2

{ "cre_id" :
{ "$minKey" : 1 } } -->> { "cre_id" :
NumberLong("-4611686018427387902") } on : hnrtest1 Timestamp(2, 2)

{ "cre_id" :
NumberLong("-4611686018427387902") } -->> { "cre_id"
: NumberLong(0) } on : hnrtest1 Timestamp(2, 3)

{ "cre_id" :
NumberLong(0) } -->> { "cre_id" :
NumberLong("4611686018427387902") } on : hnrtest2 Timestamp(2, 4)

{ "cre_id" :
NumberLong("4611686018427387902") } -->> { "cre_id" :
{ "$maxKey" : 1 } } on : hnrtest2 Timestamp(2, 5)

往student3插入1万条数据，在每个分片上查询

hnrtest1:PRIMARY>
db.student3.find().count()

4952

hnrtest1:PRIMARY>

hnrtest2:PRIMARY>
db.student3.find().count()

5047

hnrtest2:PRIMARY>

第二部分  故障模拟验证

一、模拟config服务副本集primary节点宕机

1.关闭服务

/usr/local/mongodb/bin/mongod
--shutdown --port 10000 --dbpath=/data/config

2.副本集重新选举一个primary节点

3.读取数据，所有数据均正常返回

mongos> use
shardtest

switched to db
shardtest

mongos>

mongos>
db.student.find().count()

99999

mongos>
db.student2.find().count()

49999

mongos>
db.student3.find().count()

9999

mongos>

4.对新的集合进行分片，插入5千条数据

mongos>
sh.shardCollection("shardtest.student4",{"cre_id":"hashed"})

{
"collectionsharded" : "shardtest.student4", "ok"
: 1 }

mongos>

在每个分片上查询数据

hnrtest2:PRIMARY>
db.student4.find().count()

2525

hnrtest2:PRIMARY>

hnrtest1:PRIMARY>
db.student4.find().count()

2474

hnrtest1:PRIMARY>

二、config服务数据备份恢复

1.数据备份

/usr/local/mongodb/bin/mongodump
-h 192.168.115.11:10001 -o configdata

2.关闭所有config服务节点

/usr/local/mongodb/bin/mongod
--shutdown --port 10000 --dbpath=/data/config

/usr/local/mongodb/bin/mongod
--shutdown --port 10001 --dbpath=/data/config1

3.数据读取操作

由于mongos是将config的配置信息全部加载到内存中运行，因此此时通过mongos查询数据一切正常，但是不能对新的集合进行分片操作

mongos>
db.student.find().count()

99999

mongos>
db.student2.find().count()

49999

mongos>
db.student3.find().count()

9999

mongos>
db.student4.find().count()

4999

mongos>

4.对集合进行分片操作，无法完成

mongos>
sh.shardCollection("shardtest.student5",{"cre_id":"hashed"})

{

"ok" : 0,

"errmsg" : "None of the
hosts for replica set hnrconfig could be contacted.",

"code" : 71

}

mongos>

5.关闭mongos服务，删除config节点所有数据

6.重新启动三个config服务

7.重新初始化副本集

> rs.slaveOk()

> use admin

>
db.runCommand({"replSetInitiate" : { "_id" :
"hnrconfig" ,"members" : [ { "_id" : 1,
"host" : "192.168.115.11:10000"},{ "_id" : 2,
"host" : "192.168.115.12:10000"},{"_id" : 3,
"host" : "192.168.115.11:10001"}]}})

8.启动mongos服务，此时没有任何数据

9.导入备份的config数据

/usr/local/mongodb/bin/mongorestore
-h 192.168.115.11:10000 -d config configdata/config/

在mongos查询，但是查询数据会出现超时，数据无法查询

10.在mongos执行如下命令

mongos>
sh.enableSharding("shardtest")

{ "ok" :
0, "errmsg" : "Operation timed out", "code" : 50
}

mongos日志

2016-11-17T14:46:21.197+0800
I SHARDING [Balancer] about to log metadata event into actionlog: { _id:
"node1.hnr.com-2016-11-17T14:46:21.197+0800-582d523ded1c4b679a84877b",
server: "node1.hnr.com", clientAddr: "", time: new Date(1479365181197),
what: "balancer.round", ns: "", details: {
executionTimeMillis: 30007, errorOccured: true, errmsg: "could not get
updated shard list from config server due to ExceededTimeLimit Operation timed
out" } }

官网上说是bug，恢复失败

https://jira.mongodb.org/browse/SERVER-22392

时间： 2024-08-04 03:45:27

Mongodb3分片部署及故障模拟验证的相关文章

mongodb分片部署

Mongodb 分片部署 配置mongodb集群,比如 在3个server上配置 3 shard的Mongodb集群: 架构: 1.每片数据需要3个mongod server,2个为主从数据节点:1个为仲裁节点(arbiter),不存数据. 一共三片,可以做成: 20.220-mongo1: 20001(sh1主),20002(sh2从),20003(sh3仲裁) 20.221-mongo2: 20002(sh2主),20003(sh3从),20001(sh1仲裁) 20.222-mongo3:

linux后台服务器开发环境部署配置和验证(nginx+apache+php-fpm+FASTCGI(C/C++))

linux后台服务器开发环境部署配置 引言 背景 随着公司互联网业务的不断增多,开发环境变得越来越复杂,为了便于统一服务器端的开发部署环境,特制定本配置文档. 使用软件 CentOS 6.3(Linux version 2.6.32-279.el6.x86_64) gcc (GCC) 4.4.6 20120305 (Red Hat 4.4.6-4) 本次配置 Nginx 1.5.8 Apache 2.4.7 php 5.3.26 目的 构造WEB前端技术架构,web前端的部署结构技术完全完成.

Web自动化框架之五一套完整demo的点点滴滴（excel功能案例参数化+业务功能分层设计+mysql数据存储封装+截图+日志+测试报告+对接缺陷管理系统+自动编译部署环境+自动验证false、error案例）

标题很大,想说的很多,不知道从那开始~~直接步入正题吧 个人也是由于公司的人员的现状和项目的特殊情况,今年年中后开始折腾web自动化这块:整这个原因很简单,就是想能让自己偷点懒.也让减轻一点同事的苦力活:对于自动化测试与人工测试优缺势的问题,这里不想深入讨论,开一个博客收集一些观点然后开个讨论组讨论效果可能会更好. 标题上列的,是自己对web自动化这块统一的一个想象或是一套完整的自动化应所包含的的部分,目前完成了excel功能案例参数化+业务功能分层设计+mysql数据存储封装+截图+日志+测试

MongoDB3.0.1分片部署，国内3.0的部署文档还不是很多(何志雄)。

一).分片包括: 1.至少3个config服务器:存储了数据块对分片的映射,用于判断数据存储在那个片上. 2.分发路由器:1个以上的mongos,将用户的读.写请求分发到分片中,该服务器被应用程序访问,应用程序不直接访问分片. 3.2个以上的分片,每个分片是单独的 mongod 或者是 replica set,如果是开发.测试环境,分片可以使独立的mongod而不一定要是副本集. 二).分片读写原理: 应用程序访问mongos(又称为查询路由),mongos向config服务器(又称为配置服务器

mongodb分片部署和管理

一.部署分片集群 在3.2版本中,官方建议对所有生产的config server和shard server都使用复制集.其中config server对复制集有如下要求: 1.必须没有仲裁节点 2.必须没有延时节点 3.必须创建索引,即没有节点配置buildIndex为false 我们这里用来测试就搭建复制集了. 新部署一个分片集群包括4步骤: 1.部署config server 2.部署mongos实例 3.部署mongod server 4.将mongod server添加到集群 5.为集群

linux后台server开发环境的部署配置和验证(nginx+apache+php-fpm+FASTCGI(C/C++))

linux后台server开发环境部署配置 引言 背景 随着互联网业务的不断增多.开发环境变得越来越复杂,为了便于统一server端的开发部署环境,特制定本配置文档. 使用软件 CentOS 6.3(Linux version 2.6.32-279.el6.x86_64) gcc (GCC) 4.4.6 20120305 (Red Hat 4.4.6-4) 本次配置 Nginx 1.5.8 Apache 2.4.7 php 5.3.26 目的 构造WEB前端技术架构.web前端的部署结构技术全然

MongoDB之shard_副本集和分片部署

机器角色分配和拓扑环境如下: -------------------配置副本集s1-------------------------------1.创建目录在s1h1上创建如下目录[[email protected] db]# mkdir -p /db/s1/conf[[email protected] db]# mkdir -p /db/s1/data[[email protected] db]# mkdir -p /db/s1/log 在在s1h2上创建如下目录[[email protect

MongoDB4.0 WINDOWS环境下 副本集、分片部署

部署开始: 创建路径 D:\Program Files\MongoDB\MySet下 config Data log 文件夹 config文件夹下准备配置文件: 分片1的副本集1 storage: dbPath: D:/Program Files/MongoDB/MySet/Data/shard11 journal: enabled: true systemLog: destination: file logAppend: true path: D:/Program Files/MongoDB/

Subversion的安装部署与用户验证配置

注:本例采取subversion+apache的模式 一:所需软件包下载 编译svn需要依赖sqlite库,RHEL5自带的rpm包版本太低,编译不能通过. #wget http://www.sqlite.org/sqlite-amalgamation-3.6.13.tar.gz #wget http://subversion.tigris.org/downloads/subversion-1.6.12.tar.bz2 #wget http://archive.apache.org/dist/h