MangoDB高级应用

MongoDB高级应用

Author:SimpleWu

聚合

聚合(aggregate)主要用于处理数据(诸如统计平均值,求和等),并返回计算后的数据结果。有点类似sql语句中的 count(*)。

//统计员工总数
db.emp.aggregate([{$count:"countName"}])
//或者
db.emp.find().count()

$group

使用$group是对筛选的数据进行分组。类似于mysql中的group by关键字。

//根据员工gender来分组并且统计数量
db.emp.aggregate([{$group : {_id : "$gender", count: {$sum : 1}}}])

说明:

  • 这里_id是表示分组的字段,名字是固定的。
  • count表示聚合生成列的名称。
  • $sum表示聚合函数。
  • 1统计的值,其他聚合函数也可以是字段。

聚合表达式

表达式 描述 实例
$sum 计算总和。 db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$sum : "$likes"}}}])
$avg 计算平均值。 db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$avg : "$likes"}}}])
$min 获取集合中所有文档对应值得最小值。 db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$min : "$likes"}}}])
$max 获取集合中所有文档对应值得最大值。 db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$max : "$likes"}}}])
$push 在结果文档中插入值到一个数组中。 db.mycol.aggregate([{$group : {_id : "$by_user", url : {$push: "$url"}}}])
$addToSet 在结果文档中插入值到一个数组中,但不创建副本。 db.mycol.aggregate([{$group : {_id : "$by_user", url : {$addToSet : "$url"}}}])
$first 根据资源文档的排序获取第一个文档数据。 db.mycol.aggregate([{$group : {_id : "$by_user", first_url : {$first : "$url"}}}])
$last 根据资源文档的排序获取最后一个文档数据 db.mycol.aggregate([{$group : {_id : "$by_user", last_url : {$last : "$url"}}}])

这些聚合函数基本上与mysql,oracle中效果是一致的。

索引

所以这东西学习过数据库的都知道是不可缺少的,当然我们的MangoDB也是有的。

索引通常能够极大的提高查询的效率,如果没有索引,MongoDB在读取数据时必须扫描集合中的每个文档,并选取那些符合查询条件的记录。

创建索引语法:

db.collection.createIndex(keys, options)
/*
key:你要创建的索引字段,1 为指定按升序创建索引,如果你想按降序来创建索引指定为 -1 即可。如果多个字段使用,隔开
*/
db.emp.createIndex({"name":1})                    #创建单列索引
db.emp.createIndex({"name":1,"age":-1})      #创建多列索引。

索引的常见操作

//查看集合索引
db.emp.getIndexes()
//查看集合索引大小
db.emp.totalIndexSize()
//删除集合所有索引
db.emp.dropIndexes()
//删除集合指定索引
db.emp.dropIndex("索引名称")

索引的种类

在mysql里面索引有许多种类当然我们的MongoDB中也有很多种类:id索引、单键索引、多键索引、复合索引、过期索引、全文索引。

id索引

ID索引也称为主键索引,是我们创建一个集合时,自动创建的索引。

集合的默认排序是按照id来进行排序的。在mongodb中id是根据ObjectId()来生成的,这个顺序是以时间撮来进行生成。

单键索引

单键索引是最普通的索引。

和id索引不同,单键索引不会自动创建,需要我们手动创建。

db.col.createIndex({"name":1})//创建单列索引,对name列创建索引

多键索引

多键索引和单键索引创建形式相同,区别在于字段的值。

单键索引:值是一个单一的值,例如:字符串,数字或者日期。

多键索引:值有多个记录,例如:数组。

db.emp.createIndex({"name":1,"age":-1})//创建多列索引,对name和age创建索引

复合索引

当我们的查询条件不只一个时,就需要建立符合索引。符合索引是在多个列上同时创建索引。

db.col.createIndex({"name":1,"age":-1})  //创建复合索引。

索引的命名

默认情况下,索引的命名是列+1或者-1,这种方式不是很方面记忆,而且删除是也不太方面。这时候我们就需要为索引创建一个名称。

//创建索引并命名为ix_name。
db.students.createIndex({name:-1},{name:"ix_name"})

唯一索引

我们可以为索引添加一个唯一性,从而保存该列的数据不允许重复。

//创建索引并命名为ix_name。
db.students.createIndex({name:-1},{name:"ix_name",unique:true})

过期索引

过期索引:就是在一段时间后会自动过期的索引。在索引过期后,相应的数据也会被删除。

适合存储一些希望一段时间后会失效的数据,比如用户登录信息,存储的日志等。

db.collections.createIndex({time:1},{expireAfterSeconds:10})

过期索引的一些限制:

  • 过期索引的值必须是指定的时间类型,必须使用ISODate或者ISODate数组,不能使用时间撮,否则不会被自动删除。
  • 如果指定的是ISODate数组,则按照最小时间删除。
  • 过期索引不能是复合索引。
  • 删除时间是有一定的误差,由于删除过程是由后台程序每60秒跑一次,而且删除数据也需要一定的时间。所以存在误差。

全文索引

当要对一篇文章中的文本内容进行搜索的时候,这个时候可以考虑全文索引。全文索引可以加快检索内容关键字的效率。全文索引只能对字符串或者字符串数组有效。

//创建全文索引
db.students.createIndex({name:"text",info:"text"})

使用全文索引

创建好全文索引后,我们就可以来使用全文索引,使用全文索引需要使用$text和$search两个运算符。

//查找全文索引中包含了zhangsan的文档。
db.students.find({$text:{$search:"zhangsan"}})

//查找全文索引中包含了zhangsan或者zhangsanfeng的文档。
db.students.find({$text:{$search:"zhangsan zhangsanfeng"}})

//查找全文索引中包含了zhangsan,但不包含zhangsanfeng的文档。
db.students.find({$text:{$search:"zhangsan -zhangsanfeng"}})

//查找全文索引中包含了zhangsan和zhangsanfeng的文档。
db.students.find({$text:{$search:"\"zhangsan\" \"zhangsanfeng\""}})

全文索引的相似度

我们在百度中搜索时,经常会看到和我们关键字匹配度越高的,排行就越靠前。在mongodb中,我们还可以返回查询结果的相似度,与sort一起使用效果会更好。

使用方式:在find后面跟上{score:{$meta:"textScore"}}

db.students.find({$text:{$search:"zhangsan"}},{score:{$meta:"textScore"}})
.sort({score:{$meta:"textScore"}})

全文索引的限制

  • 每次查询只能指定一个text。
  • text操作符不能出现在$nor查询中。
  • 查询中如果包含了text则hint将不再起作用。
  • mongodb的全文索引对中文支持不是很好。

索引的注意事项

索引像一把双刃剑,用得好可以提高查询效率,如果用不好可能会导致性能的降低。

  • $where和$exists完全不能走索引
  • ne取反操作效率很低
  • $not、$nin$or、$in

explain执行计划

索引的性能如何,我们可以通过explain执行计划来进行分析,从而使索引的性能达到最优。

explain的使用方式非常简单,我们只需要在执行的find()命令后添加一个explain()方法即可。

db.students.find().explain();

文档之间的关系

很多时候数据库中的数据不是单独存在的,数据和数据之间会有一些相互之间的联系。我们mongodb可以配置这种数据之间的关系。

文档之间的关系

  • 一对一(one to one)
  • 一对多(one to many)
  • 多对一(many to one)
  • 多对多(many to many)

每种关系又可以有两种方式来实现。

嵌入式:嵌套在一个document文档中。

引用式:通过外键引用的方式来实现。

Java操作MongoDB

下载MongoDB驱动http://mongodb.github.io/mongo-java-driver/

<dependency>
        <groupId>org.mongodb</groupId>
        <artifactId>mongodb-driver</artifactId>
        <version>3.9.0</version>
</dependency>

连接数据库,你需要指定数据库名称,如果指定的数据库不存在,mongo会自动创建数据库。

public static void main( String args[] ){
      try{
         // 连接到 mongodb 服务
         MongoClient mongoClient = new MongoClient( "localhost" , 27017 );

         // 连接到数据库
         MongoDatabase mongoDatabase = mongoClient.getDatabase("students");
         System.out.println("Connect to database successfully");

      }catch(Exception e){
         System.err.println( e.getClass().getName() + ": " + e.getMessage() );
     }
   }

我们可以使用 com.mongodb.client.MongoDatabase 类中的createCollection()来创建集合

我们可以使用com.mongodb.client.MongoCollection类的 insertMany() 方法来插入一个文档。

我们可以使用 com.mongodb.client.MongoCollection 类中的 find() 方法来获取集合中的所有文档。

你可以使用 com.mongodb.client.MongoCollection 类中的 updateMany() 方法来更新集合中的文档。

要删除集合中的第一个文档,首先你需要使用com.mongodb.DBCollection类中的 findOne()方法来获取第一个文档,然后使用remove 方法删除。

原文地址:https://www.cnblogs.com/SimpleWu/p/10012219.html

时间: 2024-10-14 21:06:48

MangoDB高级应用的相关文章

高效运维11问 (有幸得与惠普HPE高级顾问一次交心)

个人介绍:屌丝男 工作里程:菊花五年运维工程师,管理过1.4W台服务器的屌丝装机工 工作心得:简单的事情简单做,莫要复杂化 座右铭:事无巨细 ,用心就好 有幸得与HP HPE高级的顾问镇祝华先生的一次交谈,下面记录一些交流心得 1.如果现在给你一个全新的用户环境,如何快速的构建运维体系,高效的运维管理? 公有云平台的核心属性是共享资源服务 1.1 快速构建运维体系1)建立运维规范 2)建立运维流程3)建立运维监控系统 (网络监控,硬件状态,业务状态,资源使用率等)4)建立CMDB系统    (纳

Java精品高级课,架构课,java8新特性,P2P金融项目,程序设计,功能设计,数据库设计,第三方支付,web安全,视频教程

36套精品Java架构师,高并发,高性能,高可用,分布式,集群,电商,缓存,性能调优,设计模式,项目实战,P2P金融项目,大型分布式电商实战视频教程 视频课程包含: 高级Java架构师包含:Spring boot.Spring  cloud.Dubbo.Elasticsearch,Redis.ActiveMQ.Nginx.Mycat.Spring.MongoDB.ZeroMQ.Git.Nosql.Jvm.Mecached.Netty.Nio.Mina.java8新特性,P2P金融项目,程序设计,

Spark性能优化指南——高级篇

Spark性能优化指南--高级篇 [TOC] 前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为<Spark性能优化指南>的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题. 数据倾斜调优 调优概述 有的时候,我们可能会遇到大数据计算中一个最棘手的问题--数据倾斜,此时Spark作业的性能会比期望差很多.数据倾斜调优,就是使用各种技术方案解决不同类型的数据倾斜问题,以保证Spark作业的性能. 数据倾斜发生时的现象 绝大多数tas

mybatis之高级结果映射

先贴一句官方文档内容 如果世界总是这么简单就好了. 正如官方文档所说:如果一切都是这么简单,那该多好啊,但是实际上,我们面对的是复杂的对象,就是对象里有对象,有列表对象,总之五花八门的对象.这个时候我们期盼这mybatis能帮我们来解决这个问题. 今天,我就遇到了这样的一个问题: 在做基于RBAC权限分配模型中,一共有五张表 sys_permission  记录权限信息,包括权限名称,权限url等 sys_role 记录角色信息,包括角色名和角色id sys_role_permission 记录

Linux高级文本处理之sed(四)

模式空间是sed内部维护的一个缓存空间,它存放着读入的一行或者多行内容.但是模式空间的一个限制是无法保存模式空间中被处理的行,因此sed又引入了另外一个缓存空间--模式空间(Hold Space). 一.保持空间 保持空间用于保存模式空间的内容,模式空间的内容可以复制到保持空间,同样地保持空间的内容可以复制回模式空间.sed提供了几组命令用来完成复制的工作,其它命令无法匹配也不能修改模式空间的内容. 操作保持空间的命令如下所示: 这几组命令提供了保存.取回以及交换三个动作,交换命令比较容易理解,

HAProxy 高级应用(一)

HAProxy 高级应用 ================================================================================ 概述:   本章将继续上章的内容介绍haprosy代理配置段的相关参数,具体如下: ACL控制访问列表: 4层检测机制:dst,dst_port,src,src_port 7层检查机制:path.req.hdr.res.hdr: http层访问控制相关的参数: block,http-request TCP层的访

java 16-8 泛型高级之通配符

泛型高级(通配符) ?:任意类型,如果没有明确,那么就是Object以及任意的Java类了 ? extends E:向下限定,E及其子类 ? super E:向上限定,E极其父类 1 import java.util.ArrayList; 2 import java.util.Collection; 3 public class GenericDemo { 4 public static void main(String[] args) { 5 // 泛型如果明确的写的时候,前后必须一致 6 C

Newtonsoft.Json(Json.Net)学习笔记-高级使用(转)

1.忽略某些属性 2.默认值的处理 3.空值的处理 4.支持非公共成员 5.日期处理 6.自定义序列化的字段名称 7.动态决定属性是否序列化 8.枚举值的自定义格式化问题 9.自定义类型转换 10.全局序列化设置  一.忽略某些属性 类似本问开头介绍的接口优化,实体中有些属性不需要序列化返回,可以使用该特性.首先介绍Json.Net序列化的模式:OptOut 和 OptIn OptOut 默认值,类中所有公有成员会被序列化,如果不想被序列化,可以用特性JsonIgnore OptIn 默认情况下

C#高级知识点概要(1) - 委托和事件

作者:linybo 要成为大牛,必然要有扎实的基本功,不然时间再长项目再多也很难有大的提升.本系列讲的C# 高级知识点,是非常值得去撑握的,不仅可以让你写代码时游刃有余,而且去研究和学习一些开源项目时,也不会显得那么吃力了. 希望大家记住,这里讲的所有的知识点,不仅仅是了解了就可以了,还要会灵活用,一定要多思考,撑握其中的编程思想. 本文讲的是委托和事件,这两个词可能你早就耳熟能详,但你是否真正撑握了呢? 本系列讲的C#高级知识点都是要求开发时能达到可以徒手写出来的水平(不依赖搜索引擎.找笔记等