优化ECStore mongodb大数据 读写效率

转自同功BBS

拆表存取kv

<?php
/*
经过拆变优化的ECStore mongodb 类
base/lib/kvstore/mongodb.php*/
class base_kvstore_mongodb extends base_kvstore_abstract implements base_interface_kvstore_base
{
    static private $_mongodb = null;

    function __construct($prefix)
    {
        $prefix = is_string($prefix) ? preg_replace("(\/|\\|\-|-|-|\_|_)",‘.‘, $prefix):md5(var_export($prefix ,true));
        $this->prefix = $prefix;

        if(!isset(self::$_mongodb)){
            $server = defined(‘MONGODB_SERVER_CONFIG‘)?MONGODB_SERVER_CONFIG:"mongodb://localhost:27017";
            $option = defined(‘MONGODB_OPTION_CONFIG‘)?eval(MONGODB_OPEION_CONFIG):array("connect" => TRUE);
            self::$_mongodb = new Mongo($server,$option);
        }

         $this->mongodb = self::$_mongodb->selectCollection(‘ecos‘,$this->prefix);

    }//End Function

    public function fetch($key, &$value, $timeout_version=null)
    {
        $store = $this->mongodb->findOne(array(‘key‘=>$this->create_key($key)));
        if(!is_null($store) && $timeout_version < $store[‘dateline‘]){
            if($store[‘ttl‘] > 0 && ($store[‘dateline‘]+$store[‘ttl‘]) < time()){
                return false;
            }
            $value = $store[‘value‘];
            return true;
        }
        return false;
    }//End Function

    public function store($key, $value, $ttl=0)
    {
        $store[‘value‘] = $value;
        $store[‘dateline‘] = time();
        $store[‘ttl‘] = $ttl;
        $store[‘key‘] = $this->create_key($key);
        $store[‘prefix‘] = $this->prefix;
        $res = $this->mongodb->update(array(‘key‘=>$store[‘key‘]), $store, array("upsert" => true));
        return $res;
    }//End Function

    public function delete($key)
    {
        return $this->mongodb->remove(array(‘key‘=>$this->create_key($key)));
    }//End Function

    public function recovery($record)
    {
        $key = $record[‘key‘];
        $store[‘key‘] = $this->create_key($key);
        $store[‘value‘] = $record[‘value‘];
        $store[‘dateline‘] = $record[‘dateline‘];
        $store[‘ttl‘] = $record[‘ttl‘];
        $res = $this->mongodb->update(array(‘key‘=>$store[‘key‘]), $store, array("upsert" => true));
        return $res;
    }//End Function

}//End Class

保证各关键表索引情况

每当mongodb 数据量激增,读写频繁,锁表严重,基本就是索引未加,或未经过拆表方案。

/*mongo 命令行操作*/
use ecos
show collections
db.printCollectionStats()
db.default.ensureIndex({key:1})
db.b2c.cart.ensureIndex({key:1})
db.tbdefine.ensureIndex({ke:1})
db.cache.content.nodes.ensureIndex({key:1})
db.b2c.goods.ensureIndex({key:1})
时间: 2024-08-28 03:40:01

优化ECStore mongodb大数据 读写效率的相关文章

poi大数据读写excel

一.描述 前端时间写了注解方式Excel的读取和写入,它是根据注解完成Excel的操作,虽说支持大数据,但对于超大数据就无能为力了,因为它的读写期间都是将所有数据放入系统内存的,除非你有超大的内存. 因项目需要对超大数据的Excel读写操作,于是网上找了个超大数据的读写代码,这个不需要太大内存.并对此进行了简单的修改. 原理如下: Excel超大数据读取:抽象Excel2007读取器,excel2007的底层数据结构是xml文件,采用SAX的事件驱动的方法解析 xml,需要继承DefaultHa

MongoDB大数据高并发读写性能测试报告

服务器大小: 单节点部署,磁盘1T,内存128G 并发导入规模: 1,多线程并发导入csv文件 2,csv文件分1万.10万.100万.200万行记录4种大小 3,每个csv对应一个collection 并发查询规模 1,多线程并发查询不同collection 2,分全表查询和局部查询两种场景 性能测试结果: 导入性能 csv文件大小(万行记录) 并发线程数 导入耗时(秒)  累计导入csv文件数量 200 1 60 5000 200 10 105 5000 200 40 330(峰值内存110

MONGODB大数据运维管理

数据库管理 备份MONGODB服务器 执行mongodump    //默认使用本地连接127及端口连接本地数据库 数据库恢复到备份之前的状态: mongorestore --drop ##--drop选项告诉mongorestore工具,在恢复集合之前先丢弃现有的数据,如果不使用该选项,被恢复的数据将被追加到每个集合的尾部,导致数据的重复 备份单个数据库 mongodump -d  database_name  -c  post ##备份指定库下集合 --help 恢复单个数据库 mongor

Mongodb大数据语法大全

JSON和MONGODB JSON不止是一种交换数据的方式,也是一种存储数据的良好方式,实际上MONGODB并未使用JSON存储数据,而是使用由MONGODB团队开发的一种称为BSON的开放数据格式. 面向文档存储BSON BSON是一个开放标准,BSON存储使用的空间比JSNO(CouchDB一个强大的面向文档数据库)多在相同版本情况下. 1.处理数据比JSON快,消耗一定的存储空间,简单说BSON更方便浏览,遍历索引页非常快. 2.使用BSON容易将它数据快速转换为编程余元的原生数据格式 3

大数据之优化

1.摘要 如果要将企业应用系统按照技术或数据按时间进行划分的话,那么可以以2008年Google推出的分布式文件系统DFS为一个划分标准,2008年之前,由于通信信息技术的弊端,还属于PC互联网时代,整个互联网产生的数据和现在相比只是量级分之一,所以基本上是传统的企业应用系统,将数据存储在RDBMS数据库中,再通过诸如J2EE的软件技术架构去操作这些数据.2008年之后,随着通信技术4G的诞生,迎来了在PC互联网时代基础上叠加的移动互联网时代,这个时候产生的数据是巨大的,从最开始的PB级到EB级

大数据工具千千万,到底谁才是最强王者?

外面有成千上万的大数据工具.它们都承诺可以为你节省时间和资金,并帮助发掘之前从来见过的业务洞察力.虽然确实如此,可是面对那么多的选择,想理清这么多的工具谈何容易. 哪一种工具适合你的技能组合?哪一种工具适合你的项目? 为了替你节省一点时间,并帮助你首次选对工具,我们列出了我们青睐的几款数据工具,涉及数据提取.存储.清理.挖掘.可视化.分析和整合等领域. 数据存储和管理 如果你准备处理大数据,就要考虑该如何存储大数据.大数据得到"大"这个名号,一方面在于,大数据太庞大了,传统系统处理不了

华为内部关于大数据的一篇好文

科技的进步在很多的时候总会超出我们的想象,如果未来我们一个人拥有的电脑设备超过现在全球现在计算能力的总和,一个人产生的数据量超过现在全球数据 量的总和,甚至你的宠物小狗产生的信息量都超过现在全球数据量的总和,世界会发生什么呢?阅读本文,大数据(Big Data)会告诉你一个充满奇幻色彩的世界. 一.详解时髦词汇:大数据 似乎一夜之间,大数据(Big Data)变成一个IT行业中最时髦的词汇. 首先,大数据不是什么完完全全的新生事物,Google的搜索服务就是一个典型的大数据运用,根据客户的需求,

王家林 大数据Spark超经典视频链接全集[转]

压缩过的大数据Spark蘑菇云行动前置课程视频百度云分享链接 链接:http://pan.baidu.com/s/1cFqjQu SCALA专辑 Scala深入浅出经典视频 链接:http://pan.baidu.com/s/1i4Gh3Xb 密码:25jc DT大数据梦工厂大数据spark蘑菇云Scala语言全集(持续更新中) http://www.tudou.com/plcover/rd3LTMjBpZA/ 1 Spark视频王家林第1课:大数据时代的“黄金”语言Scala 2 Spark视

未来10年是大数据价值变现的阶段

“未来几年,所有的金融企业,包括现在的银行.券商.保险和所有在线上风起云涌做金融生意的运营商,争夺的就是一件事情——那就是国民财富账户.国民财富账户如今是通过什么样的渠道去会聚.去使用.去体验的呢?那就是指尖上的银行.TalkingData不仅拥有移动数据,同时我们跟线上.线下的大型金融企业.金融机构和金融运营商进行了很多深入的合作.我们举办这样一场发布会,就是想从TalkingData的角度,看一看今天在指尖上所有做金融相关业务的状态是什么样子.”TalkingData执行副总裁林逸飞在Tal