mongodb分片集群配置

mkdir /usr/local/mongodb/etc

mkdir /usr/local/mongodb/data

mkdir /usr/local/mongodb/logs

mkdir /usr/local/mongodb/pid

1、安装软件

tar zxvf mongodb-linux-x86_64-rhel62-3.0.2.tgz && mv mongodb-linux-x86_64-rhel62-3.0.2/* /usr/local/mongodb/

2、创建mongodb数据实例配置文件,以端口区分配置文件

dbpath=/usr/local/mongodb/data/21000

logpath=/usr/local/mongodb/logs/21000.log

pidfilepath=/usr/local/mongodb/pid/21000.pid

directoryperdb=true

logappend=true

replSet=peiwo

port=21000

oplogSize=100

fork=true

noprealloc=true

启动:

/usr/local/mongodb/bin/mongod -f /usr/local/mongodb/etc/data21000.conf

3、创建mongodb配置服务器,存储所有数据库元信息(路由、分片)的配置,以端口区分配置文件

dbpath=/usr/local/mongodb/data/22000

logpath=/usr/local/mongodb/logs/22000.log

pidfilepath=/usr/local/mongodb/pid/22000.pid

directoryperdb=true

logappend=true

port=22000

oplogSize=100

fork=true

noprealloc=true

configsvr=true

启动:

/usr/local/mongodb/bin/mongod -f /usr/local/mongodb/etc/configsvr22000.conf

/usr/local/mongodb/bin/mongod --configsvr --dbpath /usr/local/mongodb/data/22002 --port 22002 --fork --logpath /usr/local/mongodb/logs/22002.log

4、启动路由节点

/usr/local/mongodb/bin/mongos --configdb 10.144.8.86:22000,10.144.8.86:22001,10.144.8.86:22002 --port 20000 --fork --logpath /usr/local/mongodb/logs/configdb.log

5、配置Replica Set副本集

/usr/local/mongodb/bin/mongo 10.163.111.142:7000   #ip和port是某个节点的地址

use admin

replcfg={ _id:"peiwo", members:[ {_id:0,host:‘10.163.111.142:21000‘,priority:2}, {_id:1,host:‘10.163.111.142:21001‘,priority:1}, {_id:2,host:‘10.163.111.142:21002‘,arbiterOnly:true}] };

rs.initiate(replcfg)             #使配置生效

rs.status()  #查看副本集状态

db.getMongo().setSlaveOk(); #mongodb默认是从主节点读写数据的,副本节点上不允许读,需要设置副本节点可以读。

6、配置Sharding

/usr/local/mongodb/bin/mongo 10.144.8.86:20000   #这里必须连接路由节点

use admin

>sh.addShard("peiwo/10.163.111.142:21000") #test表示replica set的名字 当把主节点添加到shard以后,会自动找到set里的主,备,决策节点

>db.runCommand({enableSharding:"peiwotestdb"})    #diameter_test is database name

>db.runCommand( { shardCollection: "peiwotestdb.peiwotable",key:{"_id":1}})

第一个命令很容易理解,第二个命令是对需要进行Sharding的数据库进行配置,第三个命令是对需要进行Sharding的Collection进行配置,这里的dcca_dccr_test即为Collection的名字。另外还有个key,这个是比较关键的东西,对于查询效率会有很大的影响,具体可以查看Shard Key Overview

到这里Sharding也已经搭建完成了,以上只是最简单的搭建方式,其中某些配置仍然使用的是默认配置。如果设置不当,会导致效率异常低下,所以建议大家多看看官方文档再进行默认配置的修改。

时间: 2024-08-26 13:38:20

mongodb分片集群配置的相关文章

MongoDB分片集群配置实例

环境: windows操作系统 mongodb 3.4社区版 目标: 配置包含两个分片一个配置服务器的分片集群.其中每一个分片和一个配置服务器都被配置为一个单独的副本集.如下图所示: 注:每一个分片都应该被配置在一个单独的服务器设备上.方便起见,本文在同一台机器通过不同端口模拟不同服务器上的组件,实现分片集群的配置.(生产环境的配置与此相同,只需使用自己的主机名.端口.路径等即可). 下图为本文配置的分片集群架构,其中的任意节点(副本集节点和分片节点)都是可扩展的. 1.分别为config se

Bugsnag的MongoDB分片集群使用经验

Bugsnag是一家为移动应用开发者提供实时的Bug追踪及检测服务的创业公司,Bugsnag已经使用MongoDB存储超过TB级的文档数据.从Bugsnag的第一个版本开始他们就使用MongoDB存储业务数据.近日,Bugsnag的工程师Simon Maynard在博客上分享了他们的MongoDB分片集群经验,并开源了几个他们常使用的脚本. 带标签的分片(Tag Aware Sharding) 带标签的分片是MongoDB 2.2版本中引入的新特性,此特性支持人为控制数据的分片方式,从而使数据存

MongoDB 分片集群实战

背景 在如今的互联网环境下,海量数据已随处可见并且还在不断增长,对于如何存储处理海量数据,比较常见的方法有两种: 垂直扩展:通过增加单台服务器的配置,例如使用更强悍的 CPU.更大的内存.更大容量的磁盘,此种方法虽然成本很高,但是实现比较简单,维护起来也比较方便. 水平扩展:通过使用更多配置一般的服务器来共同承担工作负载,此种方法很灵活,可以根据工作负载的大小动态增减服务器的数量,但是实现比较复杂,得有专门的人员来运维. Databases for MongoDB 试用 IBM Cloud 上提

mongoDB(三) mongoDB分片集群

mongoDB分片集群 介绍 解决数据分片,防止数据丢失生产环境需要擦用分片+副本集的部署方式 组成部分 route: 提供入口,不存储数据 configserver: 存储元数据信息,建议使用副本集 shardserver: 数据存储服务,存储真正数据, 也许要使用副本集 依赖关系 当数据插入时,需要从configsrv知道数据要插入哪个shardsrv分片 当用户获取数据时,需要从configsrv知道数据存储在哪个shardsrv分片 集群搭建 使用同一份mongodb二进制文件 修改对应

使用HAProxy作为MongoDB分片集群mongos负载均衡

MongoDB分片集群的入口mongos自身没有failover机制.官方建议是将mongos和应用服务器部署在一起,多个应用服务器就要部署多个mongos实例,这样很是不方便.还可以使用LVS或者HAProxy来实现多个mongos的failover机制,但是一定要注意使用client affinity即客户端关联特性. global     chroot      /data/app_platform/haproxy/share/      log         127.0.0.1 loc

mongodb分片集群突然停电造成一些错误,分片无法启动

今天突然停电使mongodb分片集群造成这种错误,暂时不知道怎么解决,如果 有人知道请回复我 ,现在把记录下来,等后期处理. Fri Aug  8 10:49:52.165 [initandlisten] connection accepted from 172.16.0.115:59542 #2 (2 connections now open)Fri Aug  8 10:49:52.954 [initandlisten] connection accepted from 172.16.0.10

MongoDB的分片集群配置

1.分片 概念:在Mongodb里面存在另一种集群,就是分片技术,可以满足MongoDB数据量大量增长的需求. 当MongoDB存储海量的数据时,一台机器可能不足以存储数据也足以提供可接受的读写吞吐量.这时,我们就可以通过在多台机器上分割数据,使得数据库系统能存储和处理更多的数据. 1.分片简介 分片是指将数据拆分,将其分散存在不同机器上的过程.有时也叫分区.将数据分散在不同的机器上,不需要功能 强大的大型计算机就可以存储更多的数据,处理更大的负载. 使用几乎所有数据库软件都能进行手动分片,应用

[ MongoDB ] 分片集群及测试

分片 在Mongodb里面存在另一种集群,就是分片技术,可以满足MongoDB数据量大量增长的需求. 当MongoDB存储海量的数据时,一台机器可能不足以存储数据,也可能不足以提供可接受的读写吞吐量.这时,我们就可以通过在多台机器上分割数据,使得数据库系统能存储和处理更多的数据. 为什么使用分片? 1. 复制所有的写入操作到主节点    2. 延迟的敏感数据会在主节点查询    3. 单个副本集限制在12个节点    4. 当请求量巨大时会出现内存不足.    5. 本地磁盘不足    6. 垂

使用YCSB测试mongodb分片集群性能

1. 测试工具 本次测试选取YCSB(Yahoo! Cloud System Benchmark)作为测试客户端工具.YCSB是Yahoo开源的一个nosql测试工具,用来测试比较各种nosql的性能,项目地址:https://github.com/brianfrankcooper/YCSB.项目的mongodb目录下有详细的安装和测试方法. YCSB支持常见的nosql数据库读写,如插入,修改,删除,读取等.它可以使用多线程来提高客户端的性能.可以方便的自定义各种场景,如95%插入5%读,或者