[原创]MongoDB综合实例二

MongoDB-Sharding部署方案

一、    部署环境

  1. 五台主机：

    1. Amongoshard01:  10.212.74.43
    2. Amongoshard02:  10.212.84.4
    3. Amongoshard03:  10.212.98.23
    4. Amongoshard04:  10.212.46.5
    5. Amongoshard05:  10.212.70.21
  2. 安装；
    1. CentOS 6.5系统
    2. mongodb-linux-x86_64-rhel62-3.0.2.tgz

二、    部署方案

方案目标是搭建两个shard（shard1和shard2）实现数据分片，每个shard分别由一个副本集（一主两从一仲裁）组成。Amongoshard01主机开启27017和30000端口作为shard11和mongos实例端口；Amongoshard02开启27017、27018、27019和30000端口作为shard12、shard13、config和mongos实例端口；Amongoshard03主机开启27017和30000端口作为shard21和mongos实例端口；Amongoshard04开启27017、27018、27019和30000端口作为shard22、shard23、config和mongos实例端口；Amongoshard05开启端口27017、27018、27019作为shard14、shard24和config实例端口。

Shard11（主写操作：priority为2）、shard12（从读操作：priority为1）、shard13（仲裁）和shard14（从备份：priority为0）组成一个副本集shard1作为一个分片shard1；shard21（主写操作：priority为2）、shard22（从读操作：priority为1）、shard23（仲裁）和shard24（从备份：priority为0）组成另一个副本集shard2作为另一个分片shard2。实例部署如下：

　　  1)Amongoshard01上：

　　　　　　Shard11:10.212.74.43:27017

　　　　　   Mongos :10.212.74.43:30000

2)Amongoshard02上：

Shard12: 10.212.84.4:27017

Shard13: 10.212.84.4:27018

Config: 10.212.84.4:27019

Mongos: 10.212.84.4:30000

　　 3)Amongoshard03上：

　　　　　　Shard21:10.212.98.23:27017

　　　　　　Mongos :10.212.98.23:30000

4)Amongoshard04上：

Shard22:10.212.46.5:27017

Shard23: 10.212.46.5:27018

Config: 10.212.46.5:27019

Mongos: 10.212.46.5:30000

　　　　　5)Amongoshard05上：

　　　　   Shard14:10.212.70.21:27017

　　　       Shard24:10.212.70.21:27018

　　　       Config:10.212.70.21:27019

总概况如下图所示：

该部署方案可实现数据的读写分离和备份容灾。Config放在不同主机上或者独立，仲裁机和从机放在一起或独立，无论哪台主机当机均能提供服务。

三、    部署实现

  1. mongodb的安装：

Amongoshard01(10.212.74.43 )：

--#cd /opt/software

--#tar -zxvf mongodb-linux-x86_64-rhel62-3.0.2.tgz

--#mv mongodb-linux-x86_64-rhel62-3.0.2 /opt/mongodb3.2

--#useradd mongodb

--#chmod -R mongodb.mongodb /data/mongodb

--#su - mongodb

--$mkdir -p /data/mongodb/data/shard11

Amongoshard02(10.212.84.4 )：

--#cd /opt/software

--#tar -zxvf mongodb-linux-x86_64-rhel62-3.0.2.tgz

--#mv mongodb-linux-x86_64-rhel62-3.0.2 /opt/mongodb3.2

--#useradd mongodb

--#chmod -R mongodb.mongodb /data/mongodb

--#su - mongodb

--$mkdir -p /data/mongodb/data/shard12

--$mkdir -p /data/mongodb/data/shard13

--$mkdir -p /data/mongodb/data/config

Amongoshard03(10.212.98.23 )：

--#cd /opt/software

--#tar -zxvf mongodb-linux-x86_64-rhel62-3.0.2.tgz

--#mv mongodb-linux-x86_64-rhel62-3.0.2 /opt/mongodb3.2

--#useradd mongodb

--#chmod -R mongodb.mongodb /data/mongodb

--#su - mongodb

--$mkdir -p /data/mongodb/data/shard21

Amongoshard04(10.212.46.5 )：

--#cd /opt/software

--#tar -zxvf mongodb-linux-x86_64-rhel62-3.0.2.tgz

--#mv mongodb-linux-x86_64-rhel62-3.0.2 /opt/mongodb3.2

--#useradd mongodb

--#chmod -R mongodb.mongodb /data/mongodb

--#su - mongodb

--$mkdir -p /data/mongodb/data/shard22

--$mkdir -p /data/mongodb/data/shard23

--$mkdir -p /data/mongodb/data/config

Amongoshard05(10.212.70.21 )：

--#cd /opt/software

--#tar -zxvf mongodb-linux-x86_64-rhel62-3.0.2.tgz

--#mv mongodb-linux-x86_64-rhel62-3.0.2 /opt/mongodb3.2

--#useradd mongodb

--#chmod -R mongodb.mongodb /data/mongodb

--#su - mongodb

--$mkdir -p /data/mongodb/data/shard14

--$mkdir -p /data/mongodb/data/shard24

--$mkdir -p /data/mongodb/data/config

2.mongodb的配置：

Amongoshard01(10.212.74.43 )：

--$vi shard11.conf

shardsvr = true

replSet = shard1

port = 27017

dbpath = /data/mongodb/data/shard11

oplogSize = 100

logpath = /data/mongodb/data/shard11.log

logappend = true

maxConns = 10000

pidfilepath = /data/mongodb/data/shard11.pid

bind_ip = 10.212.74.43

rest = true

fork = true

noprealloc = true

directoryperdb = true

Amongoshard02(10.212.84.4 )：

--$vi shard12.conf

shardsvr = true

replSet = shard1

port = 27017

dbpath = /data/mongodb/data/shard12

oplogSize = 100

logpath = /data/mongodb/data/shard12.log

logappend = true

maxConns = 10000

pidfilepath = /data/mongodb/data/shard12.pid

bind_ip = 10.212.84.4

rest = true

fork = true

noprealloc = true

directoryperdb = true

--$vi shard13.conf

shardsvr = true

replSet = shard1

port = 27018

dbpath = /data/mongodb/data/shard13

oplogSize = 100

logpath = /data/mongodb/data/shard13.log

logappend = true

maxConns = 10000

pidfilepath = /data/mongodb/data/shard13.pid

bind_ip = 10.212.84.4

rest = true

fork = true

noprealloc = true

directoryperdb = true

--$vi configsvr.conf

dbpath = /data/mongodb/data/config

logpath = /data/mongodb/data/config.log

logappend = true

bind_ip = 10.212.84.4

port = 27019

fork = true

Amongoshard03(10.212.98.23 )：

--$vi shard21.conf

shardsvr = true

replSet = shard2

port = 27017

dbpath = /data/mongodb/data/shard21

oplogSize = 100

logpath = /data/mongodb/data/shard21.log

logappend = true

maxConns = 10000

pidfilepath = /data/mongodb/data/shard21.pid

bind_ip = 10.212.98.23

rest = true

fork = true

noprealloc = true

directoryperdb = true

Amongoshard04(10.212.46.5 )：

--$vi shard22.conf

shardsvr = true

replSet = shard2

port = 27017

dbpath = /data/mongodb/data/shard22

oplogSize = 100

logpath = /data/mongodb/data/shard22.log

logappend = true

maxConns = 10000

pidfilepath = /data/mongodb/data/shard22.pid

bind_ip = 10.212.46.5

rest = true

fork = true

noprealloc = true

directoryperdb = true

--$vi shard23.conf

shardsvr = true

replSet = shard2

port = 27018

dbpath = /data/mongodb/data/shard23

oplogSize = 100

logpath = /data/mongodb/data/shard23.log

logappend = true

maxConns = 10000

pidfilepath = /data/mongodb/data/shard23.pid

bind_ip = 10.212.46.5

rest = true

fork = true

noprealloc = true

directoryperdb = true

--$vi configsvr.conf

dbpath = /data/mongodb/data/config

logpath = /data/mongodb/data/config.log

logappend = true

bind_ip = 10.212.46.5

port = 27019

fork = true

Amongoshard05(10.212.70.21 )：

--$vi shard14.conf

shardsvr = true

replSet = shard1

port = 27017

dbpath = /data/mongodb/data/shard14

oplogSize = 100

logpath = /data/mongodb/data/shard14.log

logappend = true

maxConns = 10000

pidfilepath = /data/mongodb/data/shard14.pid

bind_ip = 10.212.70.21

rest = true

fork = true

noprealloc = true

directoryperdb = true

--$vi shard24.conf

shardsvr = true

replSet = shard2

port = 27018

dbpath = /data/mongodb/data/shard24

oplogSize = 100

logpath = /data/mongodb/data/shard24.log

logappend = true

maxConns = 10000

pidfilepath = /data/mongodb/data/shard24.pid

bind_ip = 10.212.70.21

rest = true

fork = true

noprealloc = true

directoryperdb = true

--$vi configsvr.conf

dbpath = /data/mongodb/data/config

logpath = /data/mongodb/data/config.log

logappend = true

bind_ip = 10.212.70.21

port = 27019

fork = true

3.mongodb的启动：

Amongoshard01(10.212.74.43 )：

--$cd /data/mongodb/bin

--./mongod -shardsvr -f /data/mongodb/data/shard11.conf

--./mongos -configdb 10.212.84.4:27019,10.212.46.5:27019,10.212.70.21:27019 -port 30000 -chunkSize 5 -logpath /data/mongodb/data/mongos.log -logappend -fork

Amongoshard02(10.212.84.4 )：

--$cd /data/mongodb/bin

--./mongod -shardsvr -f /data/mongodb/data/shard12.conf

--./mongod -shardsvr -f /data/mongodb/data/shard13.conf

--./mongod -configsvr -f /data/mongodb/data/config.conf

--./mongos -configdb 10.212.84.4:27019,10.212.46.5:27019,10.212.70.21:27019 -port 30000 -chunkSize 5 -logpath /data/mongodb/data/mongos.log -logappend -fork

Amongoshard03(10.212.98.23 )：

--$cd /data/mongodb/bin

--./mongod -shardsvr -f /data/mongodb/data/shard21.conf

--./mongos -configdb 10.212.84.4:27019,10.212.46.5:27019,10.212.70.21:27019 -port 30000 -chunkSize 5 -logpath /data/mongodb/data/mongos.log -logappend -fork

Amongoshard04(10.212.46.5 )：

--$cd /data/mongodb/bin

--./mongod -shardsvr -f /data/mongodb/data/shard22.conf

--./mongod -shardsvr -f /data/mongodb/data/shard23.conf

--./mongod -configsvr -f /data/mongodb/data/config.conf

--./mongos -configdb 10.212.84.4:27019,10.212.46.5:27019,10.212.70.21:27019 -port 30000 -chunkSize 5 -logpath /data/mongodb/data/mongos.log -logappend -fork

Amongoshard05(10.212.70.21 )：

--$cd /data/mongodb/bin

--./mongod -shardsvr -f /data/mongodb/data/shard14.conf

--./mongod -shardsvr -f /data/mongodb/data/shard24.conf

--./mongod -configsvr -f /data/mongodb/data/config.conf

4.初始化副本集：

第一个副本集：

--#su - monogdb

--$cd /data/mongodb/bin

--$./mongo 10.212.74.43:27017

>use admin

>config={_id:‘shard1‘,members:[{_id:0,host:‘10.212.74.43:27017‘,priority:2},{_id:1,host:‘10.212.84.4:27017‘,priority:1},{_id:2,host:‘10.212.84.4:27018‘,arbiterOnly:true},{_id:3,host:‘10.212.70.21:27017‘,priority:0}]};

>rs.initiate(config)

Shard1:PRIMARY>rs.status()

第二个副本集：

--#su - monogdb

--$cd /data/mongodb/bin

--$./mongo 10.212.74.43:27017

>use admin

>config={_id:‘shard2‘,members:[{_id:0,host:‘10.212.98.23:27017‘,priority:2},{_id:1,host:‘10.212.46.5:27017‘,priority:1},{_id:2,host:‘10.212.46.5:27018‘,arbiterOnly:true},{_id:3,host:‘10.212.70.21:27018‘,priority:0}]};

>rs.initiate(config)

Shard2:PRIMARY>rs.status()

5.配置sharding：

Login到任意一台mongos机器上：

--#su - monogdb

--$cd /data/mongodb/bin

--$./mongo 10.212.74.43:30000/admin

mongos>db.runCommand( { addshard : "shard1/10.212.74.43:27017，10.212.84.4:27017,10.212.84.4:27018,10.212.70.21:27017",name:"shard1",maxsize:2048000});

mongos>db.runCommand( { addshard : "shard2/10.212.98.23:27017，10.212.46.5:27017,10.212.46.5:27018,10.212.70.21:27018",name:"shard2",maxsize:2048000});

mongos>db.runCommand({listshards:1})

6．数据库分片以及Collection分片：

--#su - monogdb

--$cd /data/mongodb/bin

--$./mongo 10.212.74.43:30000/admin

mongos>db.runCommand( { enablesharding : “<dbname>” } );

mongos> db.runCommand( { shardcollection : “<namespace>”,key : <shardkeypatternobject> });

注意：

--数据库中不同的collection将被存放在不同的shard上;

--一个collection仍旧存放在同一个shard上，要使单个collection也分片，还需单独对collection作些操作;

--分片的collection系统会自动创建一个索引（也可用户提前创建好）;

--分片的collection只能有一个在分片key上的唯一索引，其它唯一索引不被允许

四、    测试与总结

使用for(i=1;i<=100000;i++){db.test.insert({_id:i})}语句对环境进行测试并查看分片情况。

部署时遇到的问题及解决方法：

问题1：如果在从机上查看数据时出现不能查看错误时，则在从机上执行命令：db.getMongo().setSlave0k()。再查询就可以了。Mongodb3.0以上版本的使用db.getMongo().setSlave0k()或rs.slaveOk()之后退出再次登录时还是会出现此错误，需要编辑文件：#vi ~/.mongorc.js添加rs.slaveOk();即可。

问题2：配置sharding后需注意maxSize值得指定，若发现数据开始可以分片后来不行则可能是数据储存超出maxSize的大小，调整之后即可。maxSize值(单位是M)表示一个shard可使用的磁盘大小，超出的数据不会分片但会存储在primary sharding上。使用一下语句指定或更改其大小：

第一种：

>db.runCommand({addshard:”shardIP:port”,maxSize:20480})

第二种：

>use config

>db.shards.update({_id:”[shardname]”},{$set:{maxSize:20480}})

时间： 2024-11-12 18:36:40

[原创]MongoDB综合实例二的相关文章

[原创]MongoDB综合实例一

CentOS-6.5单机实现mongoDB分片 环境:1)CentOS 6.5系统      2)IP:本机3)MongoDB:MongoDB-linux-x86_64-2.6.1 实现:两个副本集shard(shard-a和shard-b),每个副本集shard配置三个实例(主,从和仲裁),三个config server实例和一个mongos路由.最终通过mongos写入的数据均匀分布在两个shard中. 1.安装好CentOS 6.5并配置好IP地址,然后配置/etc/hosts文件,添加本

Android笔记三十四.Service综合实例二

综合实例2:client訪问远程Service服务 实现:通过一个button来获取远程Service的状态,并显示在两个文本框中. 思路:如果A应用须要与B应用进行通信,调用B应用中的getName().getAuthor()方法,B应用以Service方式向A应用提供服务.所以.我们能够将A应用看成是client,B应用为服务端,分别命名为AILDClient.AILDServer. 一.服务端应用程序 1.src/com.example.aildserver/song.aidl:AILD文

第四节 综合实例：使用多态完善汽车租赁系统计价功能

综合实例:使用多态完善汽车租赁系统计价功能 主讲教师:王少华      QQ群号:483773664 学习目标 在案例中应用多态; 使用父类类型作为方法的形参 一.计算一次租赁多辆汽车的总租金 (一) 需求说明 在前一章(继承)汽车租赁系统的基础上,即已经实现了汽车租赁系统的简单计价功能,客户可以租赁一辆某种型号的汽车若干天.现在要增加需求: 客户可以一次租赁多辆不同品牌的不同型号的汽车若干天,要求计算出总租赁价. 假设有一客户要租赁: 2辆宝马 1辆别克商务舱 1辆金龙(34)座 租5天共多少

跟王老师学多态（四）：综合实例：使用多态完善汽车租赁系统计价功能

综合实例:使用多态完善汽车租赁系统计价功能 主讲教师:王少华      QQ群号:483773664 学习目标 在案例中应用多态; 使用父类类型作为方法的形参 一.计算一次租赁多辆汽车的总租金 (一) 需求说明 在前一章(继承)汽车租赁系统的基础上,即已经实现了汽车租赁系统的简单计价功能,客户可以租赁一辆某种型号的汽车若干天.现在要增加需求: 客户可以一次租赁多辆不同品牌的不同型号的汽车若干天,要求计算出总租赁价. 假设有一客户要租赁: 2辆宝马 1辆别克商务舱 1辆金龙(34)座 租5天共多少

Qt布局管理器综合实例

1.布局管理器的综合实例------模拟向导用户界面(Windows平台) -----练习开发一个向导用户界面 @1:在同一界面上展现不同的向导页面 @2:通过上一步和下一步按钮进行切换 @3:不同页面上的元素组件和这些组件排布都不相同 @4:页面中的组件通过布局管理进行排布 (1)通过布局嵌套进行界面设计 @1:上一步和下一步这两个按钮用水平布局管理器QHBoxLayout来进行管理,不同页面上的显示的内容只有按钮不变,所以讲不同页面的内容用栈式布局管理器QStackedLayout进行管理,

html5-表单的综合实例

<!DOCTYPE html><html lang="en"><head>    <meta charset="UTF-8">    <title>表单的综合实例</title>    <style type="text/css">        body{background:url(pic/1.png);}        form{width: 400px;b

DWR入门实例(二)

DWR(Direct Web Remoting) DWR is a Java library that enables Java on the server and JavaScript in a browser to interact and call each other as simply as possible. Dwr能让在服务器端的java代码和浏览器客户端的javascript代码尽可能简单的相互调用. DWR is Easy Ajax for Java!  官网:http://d

综合练习(二)

1. 定义用户的输入格式 2. 应用程序的输出格式 3. 关于提示信息的思考 1. 定义用户的输入格式 2. 应用程序的输出格式 3. 关于提示信息的思考 综合练习(二),布布扣,bubuko.com

ReportingServies——SQLServer报表开发综合实例

上一篇:ReportingServies报表开发实例教程 如果我们安装了sqlserver2008 R2,将会自动安装一个报表开发工具 不要以为此报表开发工具只适合于sqlserver2008,其实在sqlserver2012中也是支持的,事实上我现在项目中就是使用的sqlserver2012. 使用此工具进行报表开发,将会十分快速而且方便.这里我通过一个综合实例来演示它的使用技巧,可以毫不夸张的说,如果你能使用此工具把这个Demo做出来,那么工作中遇到的80%报表,你都能够使用此工具进行开发了