MongoDB 分片（Cluster）

基本环境：

由于资源紧张，只有3台虚拟机的关系，只做两个replicaSet，每台机器配置分别如下：

10.10.1.55这台机器安装 Primary1，configServer1， Arbiter1

10.10.1.56 安装 Primary2，configServer2, Arbiter2

10.10.1.57 安装 Secondary1,Secondary2,configServer3,mongos

1.55机器的配置文件如下：

Primary1的conf文件：

dbpath=/data/mongodb/rs0_0
logpath=/data/mongodb/log/rs0_0.log
logappend=true
port=40000
bind_ip=192.168.11.55,10.10.1.55
oplogSize=10000
fork=true
journal = true
#noprealloc = true
replSet=rs0
directoryperdb=true

Arbiter1的配置文件：

dbpath=/data/mongodb/rs0_arbiter
logpath=/data/mongodb/log/rs0_arbiter.log
logappend=true
port=40002
bind_ip=192.168.11.55,10.10.1.55
oplogSize=10000
fork=true
journal = true
#noprealloc = true
replSet=rs0
directoryperdb=true

ConfigServer1的配置文件：

dbpath=/data/mongodb/rs0_conf
logpath=/data/mongodb/log/rs0_conf.log
logappend=true
port=40006
bind_ip=192.168.11.55,10.10.1.55
fork=true
journal = true
#noprealloc = true
configsvr=true
directoryperdb=true

分别通过mongod --config  filename 来启动不同的mongo 进程，成功启动后可以通过netstat 查看在1.55 机器上分别分配了Primary1端口：40000，Arbiter1端口：40002，configureServer1端口：40006

1.56机器的配置：

Primary2的配置文件：

dbpath=/data/mongodb/rs1_primary
logpath=/data/mongodb/log/rs1_p.log
logappend=true
bind_ip=192.168.11.56,10.10.1.56
directoryperdb=true  
port=40003
oplogSize=10000
fork=true
journal = true
noprealloc = true
replSet=rs1

Arbiter2配置文件：

dbpath=/data/mongodb/rs1_arbiter
logpath=/data/mongodb/log/rs1_a.log
logappend=true
bind_ip=192.168.11.56,10.10.1.56
directoryperdb=true  
port=40005
oplogSize=10000
fork=true
journal = true
noprealloc = true
replSet=rs1

ConfigureServer2配置文件：

dbpath=/data/mongodb/rs1_conf
logpath=/data/mongodb/log/rs1_conf.log
logappend=true
bind_ip=192.168.11.56,10.10.1.56
directoryperdb=true  
port=40007
oplogSize=10000
fork=true
journal = true
noprealloc = true
configsvr=true

分别通过mongod --config  filename 来启动不同的mongo 进程，成功启动后可以通过netstat 查看在1.55
机器上分别分配了Primary2端口：40003，Arbiter2端口：40005，configureServer2端口：40007

1.56机器的配置：

rs0_Secondary1配置：

dbpath=/data/mongodb/rs0_secondary1
logpath=/data/mongodb/log/rs0_secondary1.log
logappend=true
port=40001
bind_ip=192.168.11.57,10.10.1.57
oplogSize=10000
fork=true
journal = true
#noprealloc = true
replSet=rs0
directoryperdb=true

rs1_Secondary1配置：

dbpath=/data/mongodb/rs1_secondary1
logpath=/data/mongodb/log/rs1_secondary1.log
logappend=true
bind_ip=192.168.11.57,10.10.1.57
directoryperdb=true  
port=40004
oplogSize=10000
fork=true
journal = true
noprealloc = true
replSet=rs1

configureServer3配置：

dbpath=/data/mongodb/confSvr3
logpath=/data/mongodb/log/conf3.log
logappend=true
bind_ip=192.168.11.57,10.10.1.57
directoryperdb=true  
port=40008
oplogSize=10000
fork=true
journal = true
configsvr=true

mongos 配置：(启动mongos路由器要注意多台服务器时间必须要同步，否则出现错误)

logpath=/data/mongodb/log/mongos.log
port = 40009
configdb=10.10.1.55:40006,10.10.1.56:40007,10.10.1.57:40008
fork = true

分别通过mongod --config  filename 来启动不同的mongo 进程，成功启动后可以通过netstat 查看在1.55
机器上分别分配了rs0_secondary1端口：40001，rs1_secondary1端口：40004，configureServer3端口：40008，mongos路由端口：40009

现在用mongo shell登录primary1 配置replicaSet0,步骤如下：

cfg={ "_id" : "rs0", "members" : [ { "_id" : 0, "host" : "10.10.1.55:40000" }, { "_id" : 1, "host" : "10.10.1.57:40001" } ] }

rs.initiate(cfg)
rs.status()

rs.addArb("10.10.1.55:40002")

现在用mongo shell登录primary2 配置replicaSet1,步骤如下：

cfg={ "_id" : "rs1", "members" : [ { "_id" : 0, "host" : "10.10.1.56:40003" }, { "_id" : 1, "host" : "10.10.1.57:40004" } ] }

rs.initiate(cfg)
rs.status()

rs.addArb("10.10.1.56:40005")

使用mongo shell登录mongos路由添加分片信息：

mongo --host 10.10.1.57 --port 40009
mongos> sh.addShard("rs0/10.10.1.55:40000,10.10.1.57:40001")
{ "shardAdded" : "rs0", "ok" : 1 }
mongos> sh.addShard("rs1/10.10.1.56:40003,10.10.1.57:40004")
{ "shardAdded" : "rs1", "ok" : 1 }
mongos> sh.status()
--- Sharding Status --- 
  sharding version: {
    "_id" : 1,
    "version" : 4,
    "minCompatibleVersion" : 4,
    "currentVersion" : 5,
    "clusterId" : ObjectId("561c7bdd4315b18f9862adb4")
}
  shards:
    {  "_id" : "rs0",  "host" : "rs0/10.10.1.55:40000,10.10.1.57:40001" }
    {  "_id" : "rs1",  "host" : "rs1/10.10.1.56:40003,10.10.1.57:40004" }
  databases:
    {  "_id" : "admin",  "partitioned" : false,  "primary" : "config" }

现在创建一个新的数据库来测试一下分片：

mongos> use people
switched to db people
mongos> for(var i=1;i<10;i++) db.customers.insert({name:"jordan"+i,country:"American"})
WriteResult({ "nInserted" : 1 })
mongos> for(var i=1;i<10;i++) db.customers.insert({name:"gaga"+i,country:"American"})
WriteResult({ "nInserted" : 1 })
mongos> for(var i=1;i<10;i++) db.customers.insert({name:"ham"+i,country:"UK"})
WriteResult({ "nInserted" : 1 })
mongos> for(var i=1;i<10;i++) db.customers.insert({name:"brown"+i,country:"UK"})
WriteResult({ "nInserted" : 1 })
mongos> for(var i=1;i<10;i++) db.customers.insert({name:"ramda"+i,country:"Malaysia"})
WriteResult({ "nInserted" : 1 })

开始建立分片：

mongos> db.customers.ensureIndex({country:1,_id:1})
{
    "raw" : {
        "rs0/10.10.1.55:40000,10.10.1.57:40001" : {
            "createdCollectionAutomatically" : false,
            "numIndexesBefore" : 1,
            "numIndexesAfter" : 2,
            "ok" : 1
        }
    },
    "ok" : 1
}
mongos> sh.shardCollection("people.customers",{country:1,_id:1})
{ "collectionsharded" : "people.customers", "ok" : 1 }
mongos> sh.status()
--- Sharding Status --- 
  sharding version: {
    "_id" : 1,
    "version" : 4,
    "minCompatibleVersion" : 4,
    "currentVersion" : 5,
    "clusterId" : ObjectId("561c7bdd4315b18f9862adb4")
}
  shards:
    {  "_id" : "rs0",  "host" : "rs0/10.10.1.55:40000,10.10.1.57:40001" }
    {  "_id" : "rs1",  "host" : "rs1/10.10.1.56:40003,10.10.1.57:40004" }
  databases:
    {  "_id" : "admin",  "partitioned" : false,  "primary" : "config" }
    {  "_id" : "test",  "partitioned" : false,  "primary" : "rs0" }
    {  "_id" : "people",  "partitioned" : true,  "primary" : "rs0" }
        people.customers
            shard key: { "country" : 1, "_id" : 1 }
            chunks:
                rs0    1
            { "country" : { "$minKey" : 1 }, "_id" : { "$minKey" : 1 } } -->> { "country" : { "$maxKey" : 1 }, "_id" : { "$maxKey" : 1 } } on : rs0 Timestamp(1, 0)

现在由于数据量不多只有一个分片在rs0上，可以通过增加数据量来提高分片：

for(var i=10;i<10000;i++) db.customers.insert({name:"ham"+i,country:"UK"})
for(var i=10;i<10000;i++) db.customers.insert({name:"ramda"+i,country:"Malaysia"})

mongos> sh.status()
--- Sharding Status ---
  sharding version: {
    "_id" : 1,
    "version" : 4,
    "minCompatibleVersion" : 4,
    "currentVersion" : 5,
    "clusterId" : ObjectId("561c7bdd4315b18f9862adb4")
}
  shards:
    {  "_id" : "rs0",  "host" : "rs0/10.10.1.55:40000,10.10.1.57:40001" }
    {  "_id" : "rs1",  "host" : "rs1/10.10.1.56:40003,10.10.1.57:40004" }
  databases:
    {  "_id" : "admin",  "partitioned" : false,  "primary" : "config" }
    {  "_id" : "test",  "partitioned" : false,  "primary" : "rs0" }
    {  "_id" : "people",  "partitioned" : true,  "primary" : "rs0" }
        people.customers
            shard key: { "country" : 1, "_id" : 1 }
            chunks:
                rs1    2
                rs0    1
            { "country" : { "$minKey" : 1 }, "_id" : { "$minKey" : 1 } } -->> { "country" : "American", "_id" : ObjectId("561c7da73af7c7865defefb1") } on : rs1 Timestamp(2, 0)
            { "country" : "American", "_id" : ObjectId("561c7da73af7c7865defefb1") } -->> { "country" : "UK", "_id" : ObjectId("561c7db63af7c7865defefd4") } on : rs0 Timestamp(3, 1)
            { "country" : "UK", "_id" : ObjectId("561c7db63af7c7865defefd4") } -->> { "country" : { "$maxKey" : 1 }, "_id" : { "$maxKey" : 1 } } on : rs1 Timestamp(3, 0)

现在rs0上有一个分片，rs1上有两个分片

时间： 2024-10-03 16:27:31

MongoDB 分片（Cluster）的相关文章

【MangoDB分片】配置mongodb分片群集(sharding cluster)

配置mongodb分片群集(sharding cluster) Sharding cluster介绍 这是一种可以水平扩展的模式,在数据量很大时特给力,实际大规模应用一般会采用这种架构去构建monodb系统. 要构建一个 MongoDB Sharding Cluster,需要三种角色: Shard Server: mongod 实例,用于存储实际的数据块,实际生产环境中一个shard server角色可由几台机器组个一个relica set承担,防止主机单点故障 Config Server: m

MongoDB Sharding Cluster分片集群

MongoDB Sharding Cluster 第1章 分片技术简述: sharding是MongoDB用来将大型集合分割高不同服务器上所采用的方法,尽管分片起源于关系型数据库分区,但MongoDB分片完全又是另一回事 和mysql分区方案相比,MongoDB的最大区别在于它几乎能自动完成所有事情,只要告诉MongoDB要分配数据,它就能自动维护数据在不同的服务器之间的均衡 1.1 分片的目的: ?  垂直扩展:增加更多的cpu和存储资源来扩展容量,也属于硬件扩展 ?  水平扩展:将数据集分布

MongoDB分片存储的集群架构实现

MongoDB分片存储的集群架构实现 如果需要存储大量数据,或者系统的读写吞吐量很大的时候,单个server就很难满足需求了.这个时候我们可以使用MongoDB的分片机制来解决这些问题. 分片的基本概念 分片(sharding)是一种水平扩展(horizontal scaling)的方式,把一个大的数据集分散到多个片服务器上,所有的片服务器将组成一个逻辑上的数据库来存储这个大的数据集.分片对用户(应用层)是透明的,用户不会知道数据很被存放到哪个片服务器上. 这种方式有两个好处: 分片之后,每个片

MongoDB 分片

分片 在Mongodb里面存在另一种集群,就是分片技术,可以满足MongoDB数据量大量增长的需求. 当MongoDB存储海量的数据时,一台机器可能不足以存储数据,也可能不足以提供可接受的读写吞吐量.这时,我们就可以通过在多台机器上分割数据,使得数据库系统能存储和处理更多的数据. 为什么使用分片 复制所有的写入操作到主节点 延迟的敏感数据会在主节点查询 单个副本集限制在12个节点 当请求量巨大时会出现内存不足. 本地磁盘不足 垂直扩展价格昂贵 MongoDB分片 下图展示了在MongoDB中使用

MongoDB基础教程系列--第九篇 MongoDB 分片

1.分片介绍 分片(sharding)是将数据拆分,将其分散存到不同机器上的过程.MongoDB 支持自动分片,可以使数据库架构对应用程序不可见.对于应用程序来说,好像始终在使用一个单机的 MongoDB 服务器一样,另一方面,MongoDB 自动处理数据在分片上的分布,也更容易添加和删除分片. 请记住:复制是让多台服务器拥有同样的数据副本,每一台服务器都是其他服务器的镜像,而每一个分片都与其他分片拥有不同的数据子集. 通常,分片可以用来: 增加可用的内存 增加可用的磁盘空间 减轻单台服务器的负

搭建mongodb分片

搭建mongodb分片 http://gong1208.iteye.com/blog/1622078 Sharding分片概念 这是一种将海量的数据水平扩展的数据库集群系统,数据分表存储在sharding的各个节点上,使用者通过简单的配置就可以很方便地构建一个分布式MongoDB集群. MongoDB 的数据分块称为 chunk.每个 chunk 都是 Collection 中一段连续的数据记录,通常最大尺寸是 200MB,超出则生成新的数据块. 要构建一个 MongoDB Sharding C

mongodb分片扩展架构

[TOC] 一.简介 MongoDB目前3大核心优势:『灵活模式』+ 『高可用性』 + 『可扩展性』,通过json文档来实现灵活模式,通过复制集来保证高可用,通过Sharded cluster来保证可扩展性. MongoDB 分片集群Sharded Cluster通过将数据分散存储到多个分片(Shard)上来实现高可扩展性. 当MongoDB复制集遇到下面的业务场景时,你就需要考虑使用Sharded cluster 存储容量需求超出单机磁盘容量 活跃的数据集超出单机内存容量,导致很多请求都要从磁

MongoDB Sharding Cluster

第1章 分片技术简述: sharding是MongoDB用来将大型集合分割高不同服务器上所采用的方法,尽管分片起源于关系型数据库分区,但MongoDB分片完全又是另一回事 和mysql分区方案相比,MongoDB的最大区别在于它几乎能自动完成所有事情,只要告诉MongoDB要分配数据,它就能自动维护数据在不同的服务器之间的均衡 1.1 分片的目的: ?  垂直扩展:增加更多的cpu和存储资源来扩展容量,也属于硬件扩展 ?  水平扩展:将数据集分布在多个服务器上,水平扩展即分片 1.2 分片设计思

MongoDB分片群集（实现分片服务启用、分片服务管理、单点故障模拟）

MongoDB分片概述 1.什么是分片 高数据量和吞吐量的数据库应用会对单机的性能造成较大压力,大的查询量会将单机的CPU耗尽,大的数据量对单机的存储压力较大,最终会耗尽系统的内存而将压力转移到磁盘IO上. MongoDB分片是使用多个服务器存储数据的方法,以支持巨大的数据存储和对数据进行操作.分片技术可以满足MongoDB数据量大量增长的需求,当一台服务器存储量不够时,可以通过再外接一台分片服务器,使得数据库系统能够存储更多的数据 2.MongoDB分片优势 使用分片减少了每个分片需要处理的请

在CentOS7上部署MongoDB分片群集

概述 MongoDB分片是使用多个服务器存储数据的方法,以支持巨大的数据存储和对数据进行操作.分片技术可以满足MongoDB数据量大量增长的需求,当一台MongoDB服务器不足以存储海量数据或不足以提供可接受的读写吞吐量时,我们就可以在多台服务器上分割数据,使得数据库系统能存储和处理更多的数据. MongoDB分片群集的组成 Shard:分片服务器,用于存储实际的数据块,实际生产环境中一个shard server角色可由几台服务器组成一个Replica Set承担,防止主机单点故障. Confi