NoSQL -- Mongodb 安装 使用 副本集 备份恢复

Mongodb 是由c++编写的基于分布式文件存储的开源数据库系统,介于关系数据库和非关系数据库之间,支持查询语言很强大。高负载情况下,添加多个节点保证服务器性能,旨在为web应用提供可扩展的高性能存储;mongodb将数据存储为一个文档,由键值对(key=>value)组成,类似json对象。

官网:https://www.mongodb.com/

应用:

CERN,著名的粒子物理研究所,欧洲核子研究中心大型强子对撞机的数据使用MongoDB;

Craiglist,上使用MongoDB的存档数十亿条记录;

Shutterfly,以互联网为基础的社会和个人出版服务,使用MongoDB的各种持久性数据存储的要求;

Intuit公司,一个为小企业和个人的软件和服务提供商,为小型企业使用MongoDB的跟踪用户的数据;

 mongodb 安 装 

www.apelearn.com/bbs/data/download/mongodb-org-3.0.tar.gz  //rpm包,大家 可以用

官方提供的源只支持64位系统,安装的epel扩展源,可以安装mongodb2.4版本,此次我们安装3.0版本

vim /etc/yum.repos.d/mongodb-org-3.0.repo  //加入如下内容
[mongodb-org-3.0]
name=MongoDB Repository
baseurl=http://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.0/x86_64/   
gpgcheck=0
enabled=1
安装:yum install -y mongodb-org
编辑:vim /etc/mongod.conf
fork: true
pidFilePath: /var/run/mongodb/mongod.pid

bind_ip: 192.168.1.1,192.168.1.2,192.168.1.3  # 留空的话表示监听所有

注:把这两行后面#开头的注释删掉,否则重启的时候会有问题
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag
vim /etc/security/limits.conf //加入
mongod soft nofile 64000
mongod hard nofile 64000
mongod soft nproc 32000
mongod hard nproc 32000
启动:service mongod start   # 启动的过程会比较慢,这是它在写数据 /var/lib/mongo

启动失败的话,可用下面方式启动:mongod -f /etc/mongod.conf

mongodb 的 使 用 
mongodb 连接:

mongo   //直接进入mongo的shell

mongo --port 27018   //指定监听端口进入

mongo --host 127.0.0.1   //连接远程mongo

mongo -uusername -ppasswd   //设置验证时指定用户名密码,和mysql类似

mongodb 用户管理:

use admin    //切换到admin库下,admin和test是默认自带的俩库

use teng12   //切换到teng12库,不存在会自动创建

show users   //查看当前库下所有的用户

db.system.users.find()   //列出所有用户,需要切换到admin库

db.createUser({user:"admin",pwd:"123456",roles:[{role:‘dbOwner‘,db:‘userdb‘}]})   //创建用户

db.dropUser(‘admin‘) //删除用户

用户角色:http://bbs.51cto.com/thread-1146654-1.html

mongodb 库管理:

db.stats()    //查看当前库的信息

db.version()   //查看版本

show teng12  //查看库,该库是空的所以无userdb,创建个集合就可看到

db.createCollection(‘clo1‘)   //创建集合clo1,在当前库下面创建

db.dropDatabase()   //删除当前库,要想删除某个库,必须切换到那个库下

db.serverStatus()   //查看mongodb服务器的状态

mongodb 集合:

db.createCollection("mycol", { capped : true, autoIndexID : true, size : 6142800, max : 10000 } )

//语法:db.createCollection(name,options)

name:集合的名字。options可选,用来配置集合的参数,参数如下

autoindexID  true/false (可选)如果为true,自动创建索引_id字段的默认值是false;

capped true/false (可选)如果为true,则启用封顶集合。达其最大值就会覆盖最早条目;

size (可选)指定最大大小字节封顶集合。封顶如果是 true,那么你还需要指定这个字段。单位B

max (可选)指定封顶集合允许在文件的最大数量

mongodb 数据管理:

db.Account.insert({AccountID:1,UserName:"123",password:"123456"})   //创建集合

db.Account.update({AccountID:1},{"$set":{"Age":20}})   //更新

show collections   //查看集合,或者使用show  tables

db.Account.find()   //查看所有文档

db.Account.drop()   //删除所有文档,即删除集合

db.printCollectionStats()  // 然后查看集合状态

db.Account.find({AccountID:1})   //根据条件查询

db.Account.remove({AccountID:1})  //根据条件删除

 副 本 集 
早期版本使用一主一从,类似mysql,但slave在此架构为只读,主宕机后,从无法自动切为换主;

目前已由主从改为副本集,为一主(primary)多从(secondary,只读),支持以权重切换从为主,此架构中可建立一个仲裁(arbiter)角色,只负责裁决,不存储数据,此架构中读写数据都在主上,若实现负载均衡需要手动指定从库的目标server。

primary secondary secondary
192.168.1.1 192.168.1.2 192.168.1.3

编辑:vim /etc/mongod.conf   # 之后重启三台机器

replication:
##oplog大小
  oplogSizeMB: 20
##复制集名称
  replSetName: teng

连接主,在主上运行命令mongo
> use admin
> config={_id:"teng",members:[{_id:0,host:"192.168.1.1:27017"},{_id:1,host:"192.168.1.2:27017"},{_id:2,host:"192.168.1.3:27017"}]}
> rs.initiate(config)
> rs.add("192.168.1.2")
> rs.add("192.168.1.3")
rs.status() //查看状态
如果两个从上的状态为"stateStr" : "STARTUP", 则需要进行如下操作
> var config=config={_id:"teng",members:[{_id:0,host:"192.168.1.1:27017"},{_id:1,host:"192.168.1.2:27017"},{_id:2,host:"192.168.1.3:27017"}]}

> rs.reconfig(config)

此时再次查看rs.status()会发现从的状态变为SECONDARY

主上建库,建集合
> use mydb
> db.acc.insert({AccountID:1,UserName:"123",password:"123456"})
> show dbs
从上查看
> show dbs   
若出现错误Error: listDatabases failed:{ "note" : "from execCommand", "ok" : 0, "errmsg" : "not master" },需要执行
> rs.slaveok()

更改权重模仿主宕机:

默认三台机器权重都为1,如果任何一个权重设置为比其他的高,则该台机器马上切换为primary角色,所以我们预设三台机器的权重分别为:1:3,2:2,3:1
在主上执行
cfg = rs.conf()
cfg.members[0].priority = 3
cfg.members[1].priority = 2
cfg.members[2].priority = 1
rs.reconfig(cfg)
这样的话,第二个节点将会成为候选主节点。
主上执行:iptables -I INPUT -p tcp --dport 27017 -j DROP

 mongodb 备 份 恢 复 

备份指定库:mongodump -h ip -d dbname -o dir   //-o后指定备份到哪里,它是一个目录

备份所有库:mongodump -h ip -o dir   //不加数据库dbname,则备份所有库

备份指定集合:mongodump -d mydb -c testc -o /tmp/testc   //-c指定集合名字

导出指定集合:mongoexport -d mydb -c testc -o /tmp/testc.json   //-o后面跟的是一个文件名字

恢复指定库:mongorestore -d mydb dir/   //-d 恢复库的名字,dir就是该库备份时所在的目录

恢复所有库:mongorestore --drop dir/    //--drop可选,指恢复之前删除之前数据,不建议使用

恢复集合:mongorestore -d mydb -c testc dir/mydb/testc.bson // -c 集合名,bson文件的路径

导入集合:mongoimport -d mydb -c testc --file /tmp/testc.json

-------------------------------------------------------------------------------------------------

时间: 2024-07-30 06:37:56

NoSQL -- Mongodb 安装 使用 副本集 备份恢复的相关文章

mongodb安装和副本集的搭建

CentOS 编译安装 Mongodb Centos 7.0 + Mongodb 2.6.6 (实测 笔记 ) 环境: 系统硬件:vmware vsphere (CPU:2*4核,内存2G,双网卡) 系统版本:CentOS-7.0-1406-x86_64-DVD.iso安装步骤: 1.安装基本软件包 [[email protected] ~]# yum install vim wget lsof gcc gcc-c++ bzip2 -y [[email protected] ~]# yum in

【六】MongoDB管理之副本集

一.复制介绍 所谓的复制就是在多个主机之间同步数据的过程. 1.数据冗余及可用性 复制技术提供数据冗余及可用性,在不同的数据库服务器上使用多个数据副本,复制技术防止单个数据库服务器出现数据故障而出现数据丢失.通过设置从库,你能在上面进行灾难切换.数据备份.报表服务等.在某些应用场景下,你还能提高读的能力,客户端通过将读和写请求分发到不同的服务器上面. 2.MongoDB复制技术 副本集是一组共享相同数据集的mongod实例.当所有写请求发向主库,而其他从库从主库上应用这些操作,以保证所有成员数据

mongoDB主从和副本集群配置

mongoDB主从和副本集群配置 Mongodb是时下流行的NoSql数据库(MongoDB是一个基于分布式文件存储的数据库),它的存储方式是文档式存储,并不是Key-Value形式.   优势: 快速!(当然,这和具体的应用方式有关,通常来说,它比一般的关系型数据库快5位左右.) 很高的可扩展性–轻轻松松就可实现PB级的存储(但是可能我们并不需要PB级的存储,10TB可能就够了) 他有一个很好的 replication 模式 (replica sets) 有很完善的Java API 他的存储格

Java环境配置 数据库 缓存Redis Nosql MongoDB 安装

系统选择 centos 7.0 1.java安装篇 rpm -qa |grep java 检测是否java yum remove java-1.7.0-openjdk 使用命令删除java 到oracle官方下载java安装包 rpm -ivh jdk-7u60-linux-x64.rpm ->安装jdk 2.Tomcat 安装篇 在apache官方下载tomcat wget http://apache.fayea.com/apache-mirror/tomcat/tomcat-7/v7.0.5

MongoDB 使用副本集备份添加新的辅助副本成员

问题描述: 在生产环境中,当辅助副本成员的读压力很大时,可通过添加新的辅助副本成员来缓解压力. 为了能实现主副本成员不停机,并减轻主副本成员的压力,可在辅助副本成员上mongodump备份数据: 为了实现新的辅助副本成员的快速恢复,可直接通过以NFS方式挂载辅助副本成员到做备份操作的辅助副本成员上: 为了保证数据的一致性,在mongodump数据的时候使用-oplog参数,mongorestore时使用-oplogReplay参数: 为了满足后期空间的扩容,通过-directoryperdb参数

MongoDB迁移方案-冷备份+增量备份恢复

QQ群:465614686 1.  环境构建步骤 (1)线上环境 都是副本集模式 3个业务访问节点+1个隐藏节点 (隐藏节点做hadoop.spark数据同步使用以及数据报表查询等) (2)主机以及配置说明 10.21.18.21  primary节点    优先级为100 10.21.18.22  secondary节点  优先级为90 10.21.18.23  secondary节点  优先级为80 10.21.18.24  隐藏节点       优先级为0 系统配置:128G内存,64Co

架构(三)MongoDB安装配置以及集群搭建

一 安装 1.1 下载MongoDB 我个人不太喜欢用wget url, 之前出现过wget下载的包有问题的情况 https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.4.7.tgz 1.2 上传服务器并解压 tar -zxvf mongodb-linux-x86_64-3.4.7.tgz 1.3 移动到/data/program/software/mongodb mv mongodb-linux-x86_64-3.4.7/ /data/

mongodb 复制(副本集)

复制(副本集) 什么是复制 复制提供了数据的冗余备份,并在多个服务器上存储数据副本,提高了数据的可用性,并可以保证数据的安全性 复制还允许从硬件故障和服务中断中恢复数据 为什么要复制 数据备份 数据灾难恢复 读写分离 高(24* 7)数据可用性 无宕机维护 副本集对应用程序是透明 复制的工作原理 复制至少需要两个节点A.B... A是主节点,负责处理客户端请求 其余的都是从节点,负责复制主节点上的数据 节点常见的搭配方式为:一主一从.一主多从 主节点记录在其上的所有操作,从节点定期轮询主节点获取

MongoDB 3.0副本集搭建

环境配置 MongoDB安装 下载yum源配置 wget https://repo.mongodb.org/yum/redhat/mongodb-org-3.0.repo  mv mongodb-org-3.0.repo  /etc/yum.repos.d/ 安装mongodb yum -y install mongodb-org 修改mongodb配置文件 # 修改监听地址为0.0.0.0 net:   port: 27017   bindIp: 0.0.0.0 # 修改副本集配置 repli