为什么pymongo的两种连接mongoDB的方法效率相差这么多，求原理科普

最近项目在使用mongoDB，用起来是挺好用的，但是用户上量之后，明显就感觉有点慢，为什么这么慢，我就开始慢慢的寻找原因。

结合网上的测试脚本以及一些朋友们的测试结果和我自己测试的结果，我发现mongoDB真的没有那么慢，那是我哪里写错了？

我就开始排查项目代码中中哪里和测试脚本中写的不一样，结果就找到了数据库的连接方式，项目中一开始采用的是现在pymongo推荐的MongoClient(ip,port)的方式，但是测试脚本中采用的是Connection(ip,port)的方式，经过不同数量级的测试得出了如下的结果：


方法
数量
时间

Connection
1
0.000314950942993

MongoClient
1
0.000757217407227

Connection
10
0.00154709815979

MongoClient
10
0.00501179695129

Connection
100000
6.14999890327

MongoClient
100000
27.3278138638

Connection
1000000
59.0989689827

MongoClient
1000000
273.486183882
  • 结果分析

　　从上表的结果可以看出，基本上MongoClient的连接方式插入数据的时间是Connection连接方式插入数据的4倍左右，当然数据量小的时候可能建立连接还有一些非相关的操作可能占的比重比较大，越到后来就越稳定。

  • 疑问

　　1、这就让我产生了疑问，pymongo这两种方式的实现原理有怎样的不同之处，造成他们的写效率相差如此之多？

　　2、项目中当然要采用连接效率比较高的方法，但是现在不知道实现的原理，心里就比较没底，不太确定的是Connection的方法虽然比较快，但是会不会需要手动管理连接资源;如果操作太多了的话会不会造成资源的占用

还请各位大神们推荐一些能够解决这些问题的地方，或者是给一下参考资料我自己去研究一下

时间： 2024-12-28 11:04:15

为什么pymongo的两种连接mongoDB的方法效率相差这么多，求原理科普的相关文章

项目案例模板之jdbc两种连接方式

项目案例模板之jdbc两种连接方式 第一种连接方式 JDBCUtils.java package jdbc; ? import org.junit.jupiter.api.Test; ? import java.sql.Connection; import java.sql.DriverManager; import java.sql.SQLException; ? public class JDBCUtils { public static Connection connection; pri

数据归一化和两种常用的归一化方法

数据标准化(归一化)处理是数据挖掘的一项基础工作,不同评价指标往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间的量纲影响,需要进行数据标准化处理,以解决数据指标之间的可比性.原始数据经过数据标准化处理后,各指标处于同一数量级,适合进行综合对比评价.以下是两种常用的归一化方法: 一.min-max标准化(Min-Max Normalization) 也称为离差标准化,是对原始数据的线性变换,使结果值映射到[0 - 1]之间.转换函数如下: 其中max为样本数据的最大

找1~100之间素数的两种比较简单的方法

方法一:利用一个布尔类型的值的判断,优点想法更直接易懂 public static void main(String[] args) { for(int i=2;i<=100;i++){ boolean b=true; for(int n=2;n<i;n++){ if(i%n==0){ b=false; break; } } if(b==true){ System.out.print(i+"\t"); } } } 方法二:能被2和这个数本身以外的数整除的都不是素数.理解难但

【转】数据归一化和两种常用的归一化方法

转自http://www.cnblogs.com/chaosimple/p/3227271.html 数据标准化(归一化)处理是数据挖掘的一项基础工作,不同评价指标往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间的量纲影响,需要进行数据标准化处理,以解决数据指标之间的可比性.原始数据经过数据标准化处理后,各指标处于同一数量级,适合进行综合对比评价.以下是两种常用的归一化方法: 一.min-max标准化(Min-Max Normalization) 也称为离差标准化

[转] 数据归一化和两种常用的归一化方法

原文链接:http://www.cnblogs.com/chaosimple/p/3227271.html 数据标准化(归一化)处理是数据挖掘的一项基础工作,不同评价指标往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间的量纲影响,需要进行数据标准化处理,以解决数据指标之间的可比性.原始数据经过数据标准化处理后,各指标处于同一数量级,适合进行综合对比评价.以下是两种常用的归一化方法: 一.min-max标准化(Min-Max Normalization) 也称为离差

两种 设置 背景图片方法

两种设置背景图片方法 //    UIView *navigationbarTitleTupian =[[UIView alloc]initWithFrame:CGRectMake(0, 0, 40, 30)]; //    UIImageView *imageTitleTupian =[[UIImageView alloc]initWithImage:[UIImage imageNamed:@"bg.png"]]; // //    [navigationbarTitleTupian

ExtJS学习-------Ext.define的别名和备用名，两种定义静态方法的方法，混入属性和其他属性

(1)Ext.define起别名和备用名 Ext.onReady(function(){ Ext.define('User',{ config:{ name:'张三', age:23 }, //使用别名 alias:'alias_user', //使用备用名 alternateClassName:'alternateClassName_user', constructor:function(config){//构造器 var me=this; me.initConfig(config); } }

Eclipse中SVN的安装步骤（两种）和使用方法

一.给Eclipse安装SVN,最常见的有两种方式:手动方式和使用安装向导方式.具体步骤如下: 方式一:手动安装 1.从官网下载site-1.6.9.zip文件,网址是:subclipse.tigris.org 2.从中解压出features与plugins文件夹,复制到E:/MyEclipse/myPlugin/svn里面,其它的*.xml文件不要. 3.在E:/MyEclipse/MyEclipse X.X/dropins下新建文件svn.link,内容是:path=E://MyEclips

两种解析JSON的方法

对一段json字符串,解析有两种方法 第一种是普通的解析方法:如下 比较有代表性的解析json的方法,嘿嘿 还有一种是利用Gson解析,这种方法解析起来比较方便,不需要像那种普通的方法一样写那么多代码 注:在使用gson的时候类中的属性名称要和json中的属性名称一样 两种解析JSON的方法