MongoDB整理笔记の走进MongoDB世界

本人学习mongodb时间不长,但是鉴于工作的需要以及未来发展的趋势,本人想更深层的认识mongodb底层的原理以及更灵活的应用mongodb,边学边工作实践。

  mongodb属于nosql中算是最热门的数据库,所以我们不妨对nosql有一个最基本的了解:

 NoSQL,全称是”Not Only Sql”,指的是非关系型的数据库。NoSQL 被我们用得最多的当数key-value 存储,当然还有其他的文档型的、列存储、图型数据库、xml 数据库等。与关系型数据库相比,关系型数据库给你强加了太多东西。它们要你强行修改对象数据,以满足数据库系统的需要,而非关系型数据“只是给你所需要的”!
    目前,大型互联网公司中,比较成功的案例有新浪微博的redis、google的bigtable以及amazon的simpleDB。
    为什么选择nosql?因为它适应时代发展的要求。
    随着互联网web 2.0网站的兴起,非关系型数据库现在成为了一个极其热门的新领域,非关系型数据库产品发展非常迅速,而传统关系型数据库在应付 web 2.0网站,特别是超大规模和高并发的SNS类型的web 2.0纯动态网站就显得力不从心,暴露了很多难以克服的问题。
    以下几个问题,比较突出:

  • high performance 数据库高并发读写,web2.0网站要根据用户个性化信息来实时生成动态页面和提供动态信息,所以基本上无法使用动态页面的静态化技术,因此数据库并发负载非常高,往往要达到每秒上万次读写请求。关系型数据库应付上万次SQL查询还勉强顶得住,但是应付上万次SQL写数据,硬盘IO就已经无法忍受了。
  • huge storage 对海量数据的高效率存储和访问的需求
  • high scalability&&high availability 对数据库的高可扩展性和高可用性的需求,在基于web 的架构当中,数据库是最难进行横向扩展的,当一个应用系统的用户量和访问量与日俱增的时候,你的数据库却没有办法像web server 和app server 那样简单的通过添加更多的硬件和服务节点来扩展性能和负载能力。对于很多需要提供24 小时不间断服务的网站来说,对数据库系统进行升级和扩展是非常痛苦的事情,往往需要停机维护和数据迁移,代价昂贵。

对于web2.0 网站来说,关系型数据库在这个舞台上无法施展它锋利的一面,有点英雄无用武之地。

  • 数据库事务一致性需求,很多web 实时系统并不要求严格的数据库事务,对读一致性的要求很低,有些场合对写一致性要求也不高。因此数据库事务管理成了数据库高负载下一个沉重的负担。
  • 数据库的写实时性和读实时性需求,对关系数据库来说,插入一条数据之后立刻查询,是肯定可以读出来这条数据的,但是对于很多web 应用来说,并不要求这么高的实时性。
  • 对复杂的SQL查询,特别是多表关联查询的需求,任何大数据量的web 系统,都非常忌讳多个大表的关联查询,以及复杂的数据分析类型的复杂SQL 报表查询,特别是SNS 类型的网站,从需求以及产品设计角度,就避免了这种情况的产生。往往更多的只是单表的主键查询,以及单表的简单条件分页查询,SQL 的功能被极大的弱化了。

下面开始,正式了解mongodb。

mongodb是一种介于关系型数据库和菲关系数据库之间的产品,是非关系型数据当中功能最丰富,最像关系数据库的。它支持的数据结构非常松散,是类似json的bson格式,因此可以存储比较复杂的数据类型。mongodb最大的特点是支持的查询语言非常强大,其语法有点类似面向对象的查询语言,几乎可以实现类似关系型数据库单表查询绝大部分功能,而且还支持对数据建立索引。它是一个面向集合的,模式自由的文档行数据库。
    特征:

  • 面向集合(Collenction-Orented),意思是数据被分组存储在数据集中, 被称为一个集合(Collenction)。每个集合在数据库中都有一个唯一的标识名,并且可以包含无限数目的文档。集合的概念类似关系
  • 型数据库(RDBMS)里的表(table),不同的是它不需要定义任何模式(schema)。
  • 模式自由(schema-free) ,意味着对于存储在MongoDB 数据库中的文件,我们不需要知道它的任何结构定义。
  • 文档型,意思是我们存储的数据是键-值对的集合,键是字符串,值可以是数据类型集合里的任意类型,包括数组和文档. 我们把这个数据格式称作 “BSON” 即 “Binary Serialized dOcument Notation.”

功能:

  • 面向集合的存储:适合存储对象及JSON形式的数据
  • 动态查询:mongodb支持丰富的查询表达式。查询指令使用JSON形式的标记,可轻易地查询文档中内嵌的对象及数组
  • 完整的索引支持:包括文档内嵌对象及数组。mongodb的查询优化器会分析查询表达式,并生成一个高效的查询计划
  • 查询监视:mongodb包含一系列监视工具用于分析数据库操作的性能
  • 复制及自动故障转移:mongodb数据库支持服务器之间的数据复制,支持master-salve模式及服务器之间的相互复制。复制主要目标是提供冗余及自动故障转移
  • 高效的传统存储方式:支持二进制数据及大型对象(图片)
  • 自动分片以支持云级别的伸缩性:自动分片功能支持水平的数据库集群,可动态添加额外的机器

适合场景:

  • 网站数据:MongoDB 非常适合实时的插入,更新与查询,并具备网站实时数据存储所需的复制及高度伸缩性
  • 缓存:由于性能很高,MongoDB 也适合作为信息基础设施的缓存层。在系统重启之后,由MongoDB 搭建的持久化缓存层可以避免下层的数据源过载
  • 大尺寸,低价值的数据:使用传统的关系型数据库存储一些数据时可能会比较昂贵,在此之前,很多时候程序员往往会选择传统的文件进行存储
  • 高伸缩性的场景:MongoDB 非常适合由数十或数百台服务器组成的数据库。MongoDB的路线图中已经包含对MapReduce 引擎的内置支持
  • 用于对象及JSON 数据的存储:MongoDB 的BSON 数据格式非常适合文档化格式的存储及查询
时间: 2024-11-03 22:29:19

MongoDB整理笔记の走进MongoDB世界的相关文章

MongoDB整理笔记のjava MongoDB分页优化

最近项目在做网站用户数据新访客统计,数据存储在MongoDB中,统计的数据其实也并不是很大,1000W上下,但是公司只配给我4G内存的电脑,让我程序跑起来气喘吁吁...很是疲惫不堪. 最常见的问题莫过于查询MongoDB内存溢出,没办法只能分页查询.这种思想大家可能都会想到,但是如何分页,确实多有门道! 网上用的最多的,也是最常见的分页采用的是skip+limit这种组合方式,这种方式对付小数据倒也可以,但是对付上几百上千万的大数据,却只能望而兴叹... 经过网上各种查找资料,寻师问道的,发现了

MongoDB整理笔记のReplica Sets

MongoDB支持在多个机器中通过异步复制达到故障转移和实现冗余.多机器中同一时刻只有一台机器是用于写操作,正因为如此,MongoDB提供了数据一致性的保障.而担当primary角色的机器,可以把读的操作分发给slave. MongoDB高可用分两种:   Master-Slave 主从复制 只需要在某一个服务启动时加上–master 参数,而另一个服务加上–slave 与–source 参数,即可实现同步.MongoDB 的最新版本已不再推荐此方案. Replica Sets 复制集 Mono

MongoDB整理笔记のSharding分片

这是一种将海量的数据水平扩展的数据库集群系统,数据分表存储在sharding 的各个节点上,使用者通过简单的配置就可以很方便地构建一个分布式MongoDB 集群.MongoDB 的数据分块称为 chunk.每个 chunk 都是 Collection 中一段连续的数据记录,通常最大尺寸是 200MB,超出则生成新的数据块.要构建一个 MongoDB Sharding Cluster,需要三种角色:    Shard Server    即存储实际数据的分片,每个Shard 可以是一个mongod

MongoDB学习笔记(一) MongoDB介绍及安装

这是MongoDB的系列学习笔记的第一篇,主要介绍什么是非关系型数据库MongoDB,如何下载,去哪儿下载,又该怎么正确的安装等一系列问题. 一.前言 最近开始学习非关系型数据库MongoDB,却在博客园上找不到比较系统的教程,很多资料都要去查阅英文网站,效率比较低下.本人不才,借着自学的 机会把心得体会都记录下来,方便感兴趣的童鞋分享讨论.部分资源出自其他博客,旨将零散知识点集中到一起,如果有侵犯您的权利,请联系li- [email protected].大部分内容均系原创,欢迎大家转载分享,

MongoDB学习笔记01 MongoDB的安装及使用

最近由于工作需要,要开始接触mongodb了,于是开始研究mongodb,研究的第一步,自然是从安装及使用开始.日后肯定还会有更多的研究学习,于是准备做下一系列相关笔记,供日后温习. 1.Windows版本安装 1)版本下载 MongoDB下载地址:http://www.mongodb.org/downloads 下载相应版本,此处我下载的是64位. 安装过程很简单,和普通软件安装类似,大部分是Next,安装过程中安装类型选择的customs类型,自定义安装目录为D:/MongoDB OK,直到

Mongodb学习笔记二(Mongodb基本命令)

一.Mongodb命令 说明:Mongodb命令是区分大小写的,使用的命名规则是驼峰命名法. 对于database和collection无需主动创建,在插入数据时,如果database和collection不存在则会自动创建. 常用命令 help命令通过此命令可以看到一些最基本的命令,如图: use命令例如命令[use demodb],创建demodb,不用担心demodb不会创建,当使用use demodb 命令创建第一个collection时会自动创建数据库demodb,如图: 插入数据使用

Mongodb学习笔记一(Mongodb环境配置)

mongodb学习 *:first-child { margin-top: 0 !important; } body>*:last-child { margin-bottom: 0 !important; } /* BLOCKS =============================================================================*/ p, blockquote, ul, ol, dl, table, pre { margin: 15px 0;

MongoDB学习笔记(一) MongoDB介绍及安装(摘)

MongoDB是一个高性能,开源,无模式的文档型数据库,是当前NoSql数据库中比较热门的一种.它在许多场景下可用于替代传统的关系型数据库或键/值存储方式.Mongo使用C++开发.Mongo的官方网站地址是:http://www.mongodb.org/,读者可以在此获得更详细的信息. 小插曲:什么是NoSql? NoSql,全称是 Not Only Sql,指的是非关系型的数据库.下一代数据库主要解决几个要点:非关系型的.分布式的.开源的.水平可扩展的.原始的目的是为了大规模web应用,这场

MongoDB整理笔记のMapReduce

MongDB的MapReduce相当于MySQL中的“group by”,所以在MongoDB上使用Map/Reduce进行并行“统计”很容易. 使用MapReduce要实现两个函数Map函数和Reduce函数,Map函数调用emit(key,value),遍历collection中的所有记录,将key和value传递给Reduce函数进行处理.Map函数和Reduce函数可以使用JS来实现,可以通过db.runCommand或mapReduce命令来执行一个MapReduce操作. 示例she