MONGODB大数据运维管理

数据库管理

备份MONGODB服务器

执行mongodump    //默认使用本地连接127及端口连接本地数据库

数据库恢复到备份之前的状态:

mongorestore --drop

##--drop选项告诉mongorestore工具,在恢复集合之前先丢弃现有的数据,如果不使用该选项,被恢复的数据将被追加到每个集合的尾部,导致数据的重复

备份单个数据库

mongodump -d  database_name  -c  post ##备份指定库下集合

--help

恢复单个数据库

mongorestore -d blog --drop

恢复单个集合

mongorestore -d blog -c posts --drop

备份大数据库

数据库备份系统有一个必杀技,就是时间点快照,它的速度非常快,快照完成的速度越快,数据库服务器需要被冻结的时间就越短

在MONGODB中创建隐藏辅助服务器是非常简单的,并且可以使用MONGODB的复制机制来保证他与主服务器一直

1使用日志文件系统创建快照

2使用隐藏的辅助服务器备份数据

MONGODB上执行fysnc和lock,可以保证磁盘上数据库的镜像处于一致状态,并保证在完成快照之前他们仍然保持一致状态

use admin

db.fsyncLock()    //进入fsync和lock状态

查看当前锁的状态

use admin

db.currentOp()

释放锁

db.fsyncUnlock()     //锁释放之前可能有短暂的延迟

数据导入mongoDB使用mongoimport

mongoimport 工具可加载3种文件格式的数据

1、CSV:此种文件格式,每行代表一个文档,字段之间由逗号分隔

2、TSV:该文件类似CSV,它使用TAB作为分隔符

3、JSON:该文件格式每行都办好一块JSON,代表一个文档,与其他格式不同,JSON可以支持可变模式的文档

mongoimport --help

MONGODB支持简单的基于角色的身份验证系统,通过系统可以控制用户对数据库的访问以及他们被授予的访问级别

添加admin

use admin

db.createUser({

user:"admin",

pwd:"root123",

roles:[{

role:"readWrite",

db:"admin"},

{role:"userAdminAnyDatabase",db:"admin"}

]

})

db.auth("admin","root123")

db.getllsers() //用户权限相关信息

db.serverStatus()

验证和修复数据

修复服务器

使用repair命令是一个代价高昂的操作,会消耗很长世间,并且要求使用两倍于MONGODB数据文件大小,因为所有的数据都被克隆岛新的文件并重建,本质上是对所有数据文件的重建

mongod --dbpath /data/db  --repair

在大型数据修复过程中,可以指定一个大的空间的驱动器,用于保存修复过程中创建的临时文件

mongod -f /etc/mongodb.conf --repair --repairpath /tmp/bigdata/

通过validata选项可以验证数据库中集合的内容是否存在问题

use dblog

db.posts.ensureIndex({Author:1})

db.posts.validate()

修复集合的索引

db.posts.reIndex()   //在线修复会柱塞对系统的访问

修复集合的数据文件

use blog

db.repairDatabase()  //不适合在线运行,因为它会重建数据文件时会组赛对数据的所有请求,修复过程中所有读写请求都被阻塞

MONGODB的优化

启用和禁用MONGODB分析器

use blog

db.setProfilingLevel(1)  //0关闭

db.setProfilingLevel(1,500)   //启动毫秒级别

db.setProfilingLevel(2)   //所有查询启动分析器

查找慢查询

db.system.profile.find()

增加分析器集合的大小

1、关闭分析器

use blog

db.setProfilingLevel(0)

2、删除system.profile集合

db.system.profile.drop()

3、创建新的集合分析器

db.createCollection("system.profile",{capped:true,size:50*1024*1024})

4、重新启用分析器

db.setProfilingLevel(2)

使用explain()分析特定的查询

use blog

db.posts.find().explain(true)

时间: 2024-11-09 05:38:21

MONGODB大数据运维管理的相关文章

漫谈ELK在大数据运维中的应用

漫谈ELK在大数据运维中的应用 圈子里关于大数据.云计算相关文章和讨论是越来越多,愈演愈烈.行业内企业也争前恐后,群雄逐鹿.而在大数据时代的运维挑站问题也就日渐突出,任重而道远了.众所周知,大数据平台组件是很复杂的.而这庞大的系统整合问题,对于运维来说是很头疼的.所以,在大数据时代下的运维问题是日渐尖锐. 有人把运维比作医生给病人看病,那么日志则是病人对自己的陈述.所以只有在海量分布式日志系统中有效的提取关键信息,才能对症下药.如果能把这些日志集中管理,并提供全文检索功能,不仅可以提高诊断的效率

VMware交付的软件定义的数据中心 - 运维管理

上一篇,我介绍了VMware交付的软件定义的存储产品,Virtual SAN和vCenter SiteRecovery Manager,本文就详细描述VMware交付的数据中心管理和自动化产品组. 数据中心管理和自动化 在前面几期我详细描述了VMware交付的软件定义的计算.网络和存储,细心的读者可以发现,如果数据中心的计算资源.网络资源和存储资源都被虚拟化后,IT部门可以更加灵活而弹性的控制数据中心的各种资源,为业务部门提供更好的支持和服务.但是,这也给IT部门对于数据中心的管理提出了更大的挑

IT运维管理7要

IT运维管理起源于IT基础设置建设之初,是对处于运行状态下的物理网络,软硬件环境.业务系统等进行维护管理,我们把这种IT管理的工作简称为IT运维管理. 具体我们可以大致概括为以下七部分内容: 第一.设备管理:对网络设备.服务器设备.操作系统运行状况进行监控,对各种应用支持软件如数据库.中间件.群件以及各种通用或特定服务的监控管理,如邮件系统.DNS.WEB等的监控与管理; 第二.数据/存储/容灾管理:对系统和业务数据进行统一存储.备份和恢复; 第三.业务管理:包含对企业自身核心业务系统运行情况的

8个方面谈IT运维管理

IT运维管理的概念应该源于信息系统的生命周期,通常信息系统要经历规划.设计.开发.实施(部署).测试(验收).运行.废止等阶段,每个阶段都有相应的工作内容,运维管理就是运行阶段的主要工作. IT运维管理,是指单位 IT 部门采用相关的方法.手段.技术.制度.流程和文档等,对IT 运行环境(如硬软件环境.网络环境等).IT 业务系统和 IT 运维人员进行的综合管理.IT 运维管理主要包括8个方面的管理内容: 1·设备管理:对网络设备.服务器设备.操作系统运行状况进行监控和管理: 2·应用/服务管理

CPR式的IT运维管理,我们不要!

什么是CPR式的IT运维管理?CPR(Cardiopulmonary Resuscitation),是医学术语"心肺复苏"的简称,是指心搏骤停一旦发生,就必须立即在现场进行心肺复苏CPR,以挽救患者的生命. 想想我们的IT运维场景,是不是也会经常出现IT运维式的CPR呢?当客户先于我们发现运维事件时,我们的运维人员除了迅速变身为IT医生,前往现场实施CPR式的运维处理外,剩下的就只有尴尬和忐忑了. 作为一个IT运维人,闲暇时我总是问自己:从事运维有没有前途? 论职位,在一般企业最高级别

Linux小课堂开课了(9)-Centos7日常运维管理

Centos7日常运维管理 1,查看系统配置,进程,I/O,网卡流量使用w可以查看系统的状态,当前时间,系统启动时间,登录用户,从哪个IP登录的,系统的负载值.使用uptime查看系统的负载值使用iptop,可以具体查看哪个进行使用的I/O较多,需要安装一下[[email protected] ~]# yum -y install iotop[[email protected] ~]# iotop使用cat /proc/cpuinfo查看系统配置使用vmstat可以查看CPU,内存,虚拟磁盘,交

shell + ansible + gateone 自动化运维管理

目的: shell + ansible + gateone 自动化运维管理:最少的人工干预下,结合运用脚本与第三方工具,保证业务系统7*24小时高效稳定运行: 1.安装环境涉及软件 本次操作系统:Centos 6.5 32/64 进行测试 项目安装软件 版本 Python 2.6.6 Tornado 2.4.1 2.环境部署 2.1 安装依赖包 yum install -y python python-pip gcc python-devel setuptool python-pam opens

求一个大神运维大师 教我 我刚从事这个行业 我勤奋好学 求师傅

求一个大神运维大师 教我 我刚从事这个行业  我勤奋好学 求师傅 hello world  师傅 求指导  可以提要求  我喜欢linux 饥渴难耐了 感谢                    师傅

开源还是商用?十大云运维监控工具横评

随着云计算和互联网的高速发展,大量应用需要横跨不同网络终端,并广泛接入第三方服务(如支付.登录.导航等),IT系统架构越来越复杂.快速迭代的产品需求和良好的用户体验,需要IT运维管理者时刻保障核心业务稳定可用,而企业运维中的痛点和难点也急需解决. 1.面向业务的运维,不但关心单点IT资源的运行状态,更关心整个业务系统的健康状态 2.如果企业使用了大量的API和模块化应用,那么关注每个接口的性能变化情况和指标 3.对于运维主管及企业管理层来说,特别需要上墙的监控大屏 4.运维需要每周.每月查看报告