Mongodb主、副、仲裁节点集群安装

mongodb 的集群方式主要分为三种Replica Set / Sharding / Master-Slaver ,这里只说明最简单的集群搭建方式(生产环境),如果有多个节点可以此类推或者查看官方文档。

Replica Set

中文翻译叫做副本集。其实简单来说就是集群当中包含了多份数据,保证主节点挂掉了,备节点能继续提供数据服务,提供的前提就是数据需要和主节点一致。如下图:

Mongodb(M)表示主节点,Mongodb(S)表示备节点,Mongodb(A)表示仲裁节点。主备节点存储数据(M,S),仲裁节点不存储数据。客户端同时连接主节点与备节点,不连接仲裁节点。

默认设置下,主节点提供所有增删查改服务,备节点不提供任何服务。但是可以通过设置使备节点提供查询服务,这样就可以减少主节点的压力,当客户端进行数据查询时,请求自动转到备节点上。这个设置叫做Read Preference Modes,同时Java客户端提供了简单的配置方式,可以不必直接对数据库进行操作。

仲裁节点是一种特殊的节点,它本身并不存储数据,主要的作用是决定哪一个备节点在主节点挂掉之后提升为主节点,所以客户端不需要连接此节点。这里虽然只有一个备节点,但是仍然需要一个仲裁节点来提升备节点级别。

介绍完了集群方案,那么现在就开始搭建了。

  1、将三台计算机同时下载,解压安装文件

    下载命令:apt-get install mongo

  2、同时创建mongodb数据文件夹

    

    

1 mkdir -p /mongodb/data/master
2 mkdir -p /mongodb/data/slaver
3 mkdir -p /mongodb/data/arbiter
4 #三个目录分别对应主,备,仲裁节点  

创建数据文件夹

  3、建立配置文件(M,S,A)

    (一) 主节点配置文件

    

 1 #master.conf
 2 dbpath=/mongodb/data/master
 3 logpath=/mongodb/log/master.log
 4 pidfilepath=/mongodb/master.pid
 5 directoryperdb=true
 6 logappend=true
 7 replSet=testrs
 8 bind_ip=10.10.148.130
 9 port=27017
10 oplogSize=10000
11 fork=true
12 noprealloc=true 

主节点配置文件

    (二) 从节点配置文件 

    

 1 #slaver.conf
 2 dbpath=/mongodb/data/slaver
 3 logpath=/mongodb/log/slaver.log
 4 pidfilepath=/mongodb/slaver.pid
 5 directoryperdb=true
 6 logappend=true
 7 replSet=testrs
 8 bind_ip=10.10.148.131
 9 port=27017
10 oplogSize=10000
11 fork=true
12 noprealloc=true  

从节点配置文件

    (三) 仲裁节点配置文件

    

 1 #arbiter.conf
 2 dbpath=/mongodb/data/arbiter
 3 logpath=/mongodb/log/arbiter.log
 4 pidfilepath=/mongodb/arbiter.pid
 5 directoryperdb=true
 6 logappend=true
 7 replSet=testrs
 8 bind_ip=10.10.148.132
 9 port=27017
10 oplogSize=10000
11 fork=true
12 noprealloc=true  

仲裁节点配置文件

  *配置文件中参数解释:

  dbpath:数据存放目录

  logpath:日志存放路径

  pidfilepath:进程文件,方便停止mongodb

  directoryperdb:为每一个数据库按照数据库名建立文件夹存放

  logappend:以追加的方式记录日志

  replSet:replica set的名字

  bind_ip:mongodb所绑定的ip地址

  port:mongodb进程所使用的端口号,默认为27017

  oplogSize:mongodb操作日志文件的最大大小。单位为Mb,默认为硬盘剩余空间的5%

  fork:以后台方式运行进程

  noprealloc:不预先分配存储

  4、相继启动mongod 或者安装mongo服务

  进入每个mongodb节点的bin目录下(配置文件路径有更改请自行更改下面命令)

  

./monood -f master.conf
./mongod -f slaver.conf
./mongod -f arbiter.conf 

  5、配置主,备,仲裁节点

  可以通过客户端连接mongodb,也可以直接在三个节点中选择一个连接mongodb。

  

./mongo 10.10.148.130:27017   #ip和port是某个节点的地址
>use admin
>cfg={ _id:"testrs", members:[ {_id:0,host:‘10.10.148.130:27017‘,priority:2}, {_id:1,host:‘10.10.148.131:27017‘,priority:1},
{_id:2,host:‘10.10.148.132:27017‘,arbiterOnly:true}] };
>rs.initiate(cfg)   

配置主从

  cfg是可以任意的名字,当然最好不要是mongodb的关键字,conf,config都可以。最外层的_id表示replica set的名字,members里包含的是所有节点的地址以及优先级。优先级最高的即成为主节点,即这里的10.10.148.130:27017。特别注意的是,对于仲裁节点,需要有个特别的配置——arbiterOnly:true。这个千万不能少了,不然主备模式就不能生效。

  6、测试配置是否成功

    配置的生效时间根据不同的机器配置会有长有短,配置不错的话基本上十几秒内就能生效,有的配置需要一两分钟。如果生效了,执行rs.status()命令会看到如下信息:

  

{
        "set" : "testrs",
        "date" : ISODate("2013-01-05T02:44:43Z"),
        "myState" : 1,
        "members" : [
                {
                        "_id" : 0,
                        "name" : "10.10.148.130:27017",
                        "health" : 1,
                        "state" : 1,
                        "stateStr" : "PRIMARY",
                        "uptime" : 200,
                        "optime" : Timestamp(1357285565000, 1),
                        "optimeDate" : ISODate("2013-01-04T07:46:05Z"),
                        "self" : true
                },
                {
                        "_id" : 1,
                        "name" : "10.10.148.131:27017",
                        "health" : 1,
                        "state" : 2,
                        "stateStr" : "SECONDARY",
                        "uptime" : 200,
                        "optime" : Timestamp(1357285565000, 1),
                        "optimeDate" : ISODate("2013-01-04T07:46:05Z"),
                        "lastHeartbeat" : ISODate("2013-01-05T02:44:42Z"),
                        "pingMs" : 0
                },
                {
                        "_id" : 2,
                        "name" : "10.10.148.132:27017",
                        "health" : 1,
                        "state" : 7,
                        "stateStr" : "ARBITER",
                        "uptime" : 200,
                        "lastHeartbeat" : ISODate("2013-01-05T02:44:42Z"),
                        "pingMs" : 0
                }
        ],
        "ok" : 1
}  

配置成功提示

   正在进行配置提示:"stateStr" : "RECOVERING"

后话:

   Replica Set 是我现在主要使用的集群方式,也是我使用过最稳定和高效的无规则大数据存储方式。这样的配置要求运行环境需要至少三台windows/ubuntu,当然我们可以使用VM来进行虚拟化测试,在项目实施的过程中还是建议多台服务器进行配置,如果有能力当然可以上虚拟+存储。至于大数据的数据检索部分,千万级别以下的使用mongodb的索引完全能解决,过亿建议使用检索平台,最近个人在研究 elasticseach 大数据检索平台,如果有兴趣的可以一起学习了解~ 以上是mongodb Replica Set 的配置过程。 小的敬上!

时间: 2024-12-25 15:14:59

Mongodb主、副、仲裁节点集群安装的相关文章

『GreenPlum系列』GreenPlum 4节点集群安装(图文教程)

目标架构如上图 一.硬件评估 cpu主频,核数推荐CPU核数与磁盘数的比例在12:12以上Instance上执行时只能利用一个CPU核资源进行计算,推荐高主频 内存容量 网络带宽重分布操作 Raid性能条带宽度设置回写特性 二.操作系统 1.在SUSE或者RedHat上使用xfs(操作系统使用ext3)    在Solaris上使用zfs(操作系统使用ufs) 2.系统包 出现如下界面,按照下面的说明进行勾选,之后一直[Next]到开始安装. -->[Desktop Environments]全

Hadoop多节点集群安装配置

目录: 1.集群部署介绍 1.1 Hadoop简介 1.2 环境说明 1.3 环境配置 1.4 所需软件 2.SSH无密码验证配置 2.1 SSH基本原理和用法 2.2 配置Master无密码登录所有Salve 3.Java环境安装 3.1 安装JDK 3.2 配置环境变量 3.3 验证安装成功 3.4 安装剩余机器 4.Hadoop集群安装 4.1 安装hadoop 4.2 配置hadoop 4.3 启动及验证 4.4 网页查看集群 5.常见问题FAQ   5.1 关于 Warning: $H

说说单节点集群里安装hive、3\5节点集群里安装hive的诡异区别

这几天,无意之间,被这件事情给迷惑,不解!先暂时贴于此,以后再解决! 详细问题如下: 在hive的安装目录下(我这里是 /home/hadoop/app/hive-1.2.1),hive的安装目录的lib下(我这里是/home/hadoop/app/hive-1.2.1/lib)存放了mysql-connector-java-5.1.21.jar. 我的mysql,是用root用户安装的,在/home/hadoop/app目录,所以,启动也得在此目录下. 对于djt002,我的mysql是roo

mongodb集群安装及延迟节点配置

mongodb集群安装及延迟节点配置 本文主要介绍mongodb安装.副本集模式的配置.mongodb数据库的简单使用及延迟节点搭建和利用延迟节点恢复误删除的数据. 一.系统环境 平台:Centos6.6_x86_64 实验环境:四台主机部署副本集模式集群 主机:192.168.115.21.192.168.115.22.192.168.115.23.192.168.115.24 规划:21为master节点,22为副本节点,23为副本节点,24为延迟节点 目的:完成副本集模式集群的部署 测试延

mariadb galera Cluster 多主集群安装实录

1: 创建MariaDB.repo#vim /etc/yum.repos.d/MariaDB.repo # MariaDB 10.0 CentOS repository list - created 2013-08-23 13:08 UTC # http://mariadb.org/mariadb/repositories/ [mariadb] name = MariaDB baseurl = http://yum.mariadb.org/10.0/centos6-amd64 gpgkey=ht

实战1 伪分布式Hadoop单节点实例 CDH4集群安装 Hadoop

Hadoop由两部分组成 分布式文件系统HDFS 分布式计算框架MapReduce 其中分布式文件系统(HDFS)主要用于大规模数据的分布式存储,而MapReduce则构建在分布式文件系统之上,对于存储在分布式文件系统中的数据进行分布式计算. 详细的介绍个节点的作用 NameNode: 1.整个Hadoop集群中只有一个NameNode.它是整个系统的中枢,它负责管理HDFS的目录树和相关文件 元数据信息.这些信息是以"fsimage (HDFS元数据镜像文件)和Editlog(HDFS文件改动

Zookeeper(1、3、5节点)集群安装

1节点 1 week110的zookeeper的安装 + zookeeper提供少量数据的存储 3节点 hadoop-2.6.0.tar.gz的集群搭建(3节点) hadoop-2.6.0-cdh5.4.5.tar.gz(CDH)的3节点集群搭建 5节点 hadoop-2.6.0.tar.gz的集群搭建(5节点) 原文地址:https://www.cnblogs.com/wangsongbai/p/9115962.html

ElasticSearch笔记整理(二):CURL操作、ES插件、集群安装与核心概念

[TOC] CURL操作 CURL简介 curl是利用URL语法在命令行方式下工作的开源文件传输工具,使用curl可以简单实现常见的get/post请求.简单的认为是可以在命令行下面访问url的一个工具.在centos的默认库里面是有curl工具的,如果没有请yum安装即可. curl -X 指定http的请求方法 有HEAD GET POST PUT DELETE -d 指定要传输的数据 -H 指定http请求头信息 curl创建索引库 curl -XPUT http://<ip>:9200

CentOS7+Hadoop2.7.2(HA高可用+Federation联邦)+Hive1.2.1+Spark2.1.0 完全分布式集群安装

1       VM网络配置... 3 2       CentOS配置... 5 2.1             下载地址... 5 2.2             激活网卡... 5 2.3             SecureCRT. 5 2.4             修改主机名... 6 2.5             yum代理上网... 7 2.6             安装ifconfig. 8 2.7             wget安装与代理... 8 2.8