mongoDB系列之(三):mongoDB 分片

1. monogDB的分片(Sharding)

分片是mongoDB针对TB级别以上的数据量,采用的一种数据存储方式。

mongoDB采用将集合进行拆分,然后将拆分的数据均摊到几个mongoDB实例上的一种解决方案。

分片模式下,mongoDB实例分为三种:

shards: 存储数据的mongoDB

config: 保存设定的monogDB

routing(mongos): 负责分片处理的mongoDB

2. 配置分片

2.1 试验环境

1 mongos, 1 config, 2 shard

config:  test166:27019
mongos:  test166:27020
shards:  test166:27017,test167:27017

mongoDB都是单台构成,没有使用副本集

2.2 启动config

在test166上启动config实例,端口27019

# mongod --configsvr --dbpath /var/lib/mongo-c --port 27019

2.3 启动 mongos

在test166上启动routing实例,端口27020

# mongos --configdb test166:27019 --port 27020

2.4 启动 shards

在test166和test167上分别启动shards

# /etc/init.d/mongod start

2.5 添加shards

连接monogs

# mongo --port 27020

添加shards

mongos> use admin
mongos> sh.addShard( "test166:27017" )
mongos> sh.addShard( "test167:27017" )

确认

mongos> db.runCommand({listshards:1})

2.6 开启分片

对指定的库开启sharding

mongos> sh.enableSharding("new")

指定分片的片键

片键有两种模式:hash模式,range模式

2.6.1 使用hash模式分片

mongos> sh.shardCollection( "new.person", { "_id": "hashed" } )

插入数据确认

mongos> use new
mongos> for(var i=0;i<10;i++){db.person.insert({name:"bluejoe"+i});}

使用hash模式,记录在各片上的分布比较平均

2.6.2 使用range模式分片

mongos> sh.shardCollection( "new.person2", { "name": 1 } )

插入数据确认

mongos> use new
mongos> for(var i=0;i<100;i++){db.person2.insert({name:"jack"+i});}

2.7 确认分片情况

mongos> sh.status()
或
mongos> db.printShardingStatus()

在各shard上确认数据分布情况(hash模式)

> use new
> db.person.find()

test166:27017上的数据分布情况

test167:27017上的数据分布情况

2.8 其他

要分片的库原来有数据的情况下,先建index,然后再指定片键

mongos> sh.enableSharding("new2")
mongos> use new2
mongos> db.user2.createIndex( { "username": 1 } )
mongos> sh.shardCollection( "new2.user2", { "username": 1 } )

3. 后记

本次测试环境使用mongoDB单台构成,没有使用副本集,使用副本集时的分片配置和上面类似,在此不详述。

时间: 2024-11-05 19:44:28

mongoDB系列之(三):mongoDB 分片的相关文章

MongoDB系列:把mongodb作为windows的服务来启动

1.首先切换到mongodb安装目录下的bin目录,在控制台直接运行以下命令 "C:\Program Files\MongoDB\Server\3.0\bin\mongod.exe" --logpath "D:\mongodb\logs\mongodb.log" --dbpath "D:\mongodb\data" --install --journal ps: 1.必须用管理员身份在命令后运行控制台 2.d盘下必须先创建好mongodb/dat

Mongodb学习笔记三(Mongodb索引操作及性能测试)

第三章 索引操作及性能测试 索引在大数据下的重要性就不多说了 下面测试中用到了mongodb的一个客户端工具Robomongo,大家可以在网上选择下载. 插入 测试数据 首先插入100万条测试数据 for(var i=1;i<1000000;i++){ var person={ Name:"jack"+i, Age:i, Address:["henan","wuhan"], Course:[ {Name:"shuxue"

MongoDB基础教程系列--第九篇 MongoDB 分片

1.分片介绍 分片(sharding)是将数据拆分,将其分散存到不同机器上的过程.MongoDB 支持自动分片,可以使数据库架构对应用程序不可见.对于应用程序来说,好像始终在使用一个单机的 MongoDB 服务器一样,另一方面,MongoDB 自动处理数据在分片上的分布,也更容易添加和删除分片. 请记住:复制是让多台服务器拥有同样的数据副本,每一台服务器都是其他服务器的镜像,而每一个分片都与其他分片拥有不同的数据子集. 通常,分片可以用来: 增加可用的内存 增加可用的磁盘空间 减轻单台服务器的负

mongoDB(三) mongoDB分片集群

mongoDB分片集群 介绍 解决数据分片,防止数据丢失生产环境需要擦用分片+副本集的部署方式 组成部分 route: 提供入口,不存储数据 configserver: 存储元数据信息,建议使用副本集 shardserver: 数据存储服务,存储真正数据, 也许要使用副本集 依赖关系 当数据插入时,需要从configsrv知道数据要插入哪个shardsrv分片 当用户获取数据时,需要从configsrv知道数据存储在哪个shardsrv分片 集群搭建 使用同一份mongodb二进制文件 修改对应

MongoDB系列教程(八):GridFS存储详解

MongoDB系列教程(八):GridFS存储详解 GridFS简介 mongoDB的文档以BSON格式存储,支持二进制的数据类型,当我们把二进制格式的数据直接保存到mongoDB的文档中.但是当文件太大时,例如图片和视频等文件,每个文档的长度是有限的,于是mongoDb会提供了一种处理大文件的规范--GridFS. GridFS实现原理 在GridFS数据库中,默认使用fs.chunks 和fs.files来存储文件,其中fs.files集合存放文件的信息,fs.chunks存放文件的数据,一

MongoDB 基础(九)分片

分片(sharding)是通过多台服务器存储数据的方法.Mongodb使用分片可支持部署非常大的数据集和高的吞吐量操作.单台服务器的能力在各方面都有限,如CPU.IO.RAM.存储空间等.解决扩展的问题,数据库提供了两种方法:垂直扩展和分片. 垂直扩展:增加CPU.RAM,存储资源等,这也受限于硬件设备.而有些基于云的供应商也规定用户使用小的系统. 分片(水平扩展):划分数据集,将数据分布到多台服务器中,每个碎片(chard)是一个独立的数据库,这些碎片共同组成了一个逻辑的数据库.(这类似于Wi

MongoDB复制集及数据分片详解

前言 MongoDB是一个由C++语言编写的基于分布式文件存储的数据库,是当前NoSQL数据库中比较热门的一种,旨在为Web应用提供可扩展的高性能数据存储解决方案.本文介绍MongoDB复制集及数据分片. MongoDB 简介 MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的.支持的数据结构非常松散,因此可以存储比较复杂的数据类型.最大的特点是其支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询

【Mongodb】 Sharding Replica Sets 分片集群生产环境安装与介绍!

系统环境:Centos 6.5 官网手册:http://docs.mongodb.org/manual/ 参阅资料:<Mongodb权威指南><Mongodb实战><深入学习Mongodb> 由上方的官方拓扑可以看出,Sharding集群成员由Shard.ConfigServer.Router组成 Shard:可以是一个实例,官方推荐生产环境使用副本集Replica Set Config Server:为三台主机,当有1台或者2台Server当机,对于用户而言,集群还是

MongoDB 系列教程

系列目录 MongoDB学习笔记(一) MongoDB介绍及安装 MongoDB学习笔记(二) 通过samus驱动实现基本数据操作 MongoDB学习笔记(三) 在MVC模式下通过Jqgrid表格操作MongoDB数据 MongoDB学习笔记(四) 用MongoDB的文档结构描述数据关系 MongoDB学习笔记(五) MongoDB文件存取操作 MongoDB学习笔记(六) MongoDB索引用法和效率分析