GDAL2.1增加支持Mongodb存储空间大数据

      随着空间数据越来越渗透到社会生活的各个方面,大数据提供服务的能力有待增强。如全国地理国情普查数据,仅空间矢量数据一个省数据量在30GB左右,影像更在TB级,全国数据量就更不得了,传统的集中存储模式如果在几个部门间使用还凑合,在十几个部门,成千上万次服务请求并发的情况下,难以为继。为此尽早使用互联网思维,采用集群并发处理的模式处理空间数据,提供必要的统计分析为当务之急。为此本文探讨了如何使用Mongodb存储空间大数据,从最基本的数据入库存储开始。

1目录

1.1 gdal2.1增加支持Mongodb空间数据库连接

1.2 必要模块编译

1.3 使用虚拟机和主机建立虚拟局域网构建分布式数据库作为实验

 

1.1 GDAL2.1特性

      GDAL作为空间数据众多格式的桥,被很多成熟的商业空间数据库所采用。高度抽象的数据驱动模型,更容易添加新的数据格式驱动,并且屏蔽数据物理存储,使得系统设计开发人员针对数据逻辑进行必要操作。GDAL2.1添加了Mongodb数据空间模块支持,很好的将Mongodb空间数据存储特性、分布式存储、自动负载平衡结合到一起,这样通过Mongodb将空间数据暴露给系统设计开发人员,获得了较大的设计自由度。

1.2

gdal支持mongodb编译参数
1、scons
2、boost1.55
3、gdal2.1 trunk svn

4、mongo-cxx-driver C++客户端legacy-1.0.2代码下载

1)编译命令行:
C:\Users\zjz\Desktop\mongo-cxx-driver\legacy-1.0.2>scons --32 --cpppath=c:\local
\boost_1_55_0 --libpath=C:\local\boost_1_55_0\lib32-msvc-10.0 --dynamic-windows
--sharedclient --prefix=C:\local\mongo-client-install install

2)编译GDAL2.1 ,在nmake.opt 中寻找注释行,如下;采用非插件模式(即DLL动态调用方式)

# Uncomment for MongoDB support
# This configuration is valid for a libmongoclient built as a DLL with: scons.bat --32 --ssl --dynamic-windows --sharedclient  --prefix=c:\users\even\dev\mongo-client-install --cpppath=c:\users\even\dev\boost_1_55_0_32bit --libpath=c:\users\even\dev\boost_1_55_0_32bit\lib32-msvc-10.0 install
MONGODB_PLUGIN = NO
MONGODB_INC = C:\mongo-client-install\include
# Boost library names must be edited to reflect the actual MSVC and Boost versions
BOOST_INC = C:\local\boost_1_55_0
BOOST_LIB_PATH= C:\local\boost_1_55_0\lib32-msvc-10.0
MONGODB_LIBS = c:/mongo-client-install/lib/mongoclient.lib  $(BOOST_LIB_PATH)\libboost_thread-vc100-mt-1_55.lib   $(BOOST_LIB_PATH)\libboost_system-vc100-mt-1_55.lib  $(BOOST_LIB_PATH)\libboost_date_time-vc100-mt-1_55.lib   $(BOOST_LIB_PATH)\libboost_chrono-vc100-mt-1_55.lib

1.3 win7上安装virtualbox 虚拟linux系统,安装ubuntu32位
与主机虚拟mongodb跨系统集群
切片存储geodatabase数据库
采用gdal2.1 mongodb driver驱动读写geodata
存储大数据,如30GB湖北省地理国情普查数据库,存储效果图如下,在MongoVUE中连接显示如下:

 

 

下一章将介绍如何在集群中配置数据库存储。

相关文章

1)ArcGIS plugin 支持Mongodb数据库存储空间大数据

2)GDAL1.11.1 支持PostGIS、ArcGIS模块

3)构建基于PostGIS空间信息查询系统

4)在虚拟机安装Linux系统与主机联合构建分布式空间数据存储环境

时间: 2024-11-02 19:33:44

GDAL2.1增加支持Mongodb存储空间大数据的相关文章

为什么MongoDB适合大数据的存储?

NoSQL数据库都被贴上不同用途的标签,如MongoDB和CouchDB都是面向文档的数据库,但这并不意味着它们可以象JSON(JavaScript Object Notation,JavaScript对象标记)那样以结构化数据形式存储文本文档. JSON被认为是XML的代替品,它是一个轻量级的,基于文本交换数据的标准,和XML一样具有人类易读的特性.简单的JSON数据结构叫做对象,可能包括多种数据类型,如整型(int),字符串(string),数组(array),日期(date),对象(obj

大数据工具千千万,到底谁才是最强王者?

外面有成千上万的大数据工具.它们都承诺可以为你节省时间和资金,并帮助发掘之前从来见过的业务洞察力.虽然确实如此,可是面对那么多的选择,想理清这么多的工具谈何容易. 哪一种工具适合你的技能组合?哪一种工具适合你的项目? 为了替你节省一点时间,并帮助你首次选对工具,我们列出了我们青睐的几款数据工具,涉及数据提取.存储.清理.挖掘.可视化.分析和整合等领域. 数据存储和管理 如果你准备处理大数据,就要考虑该如何存储大数据.大数据得到"大"这个名号,一方面在于,大数据太庞大了,传统系统处理不了

大数据分析师培训项目

摘要:Big Data“大数据”是继云计算.物联网之后IT产业又一次颠覆性的技术变革.对国家治理模式.对企业的决策.组织和业务流程.对个人生活方式都将产生巨大的影响.美国将大数据提升为国家战略,中国虽然还没有明确提出,但已经把大数据上升为与国防一样的高度.我国政府对大数据的敏感度快速提高,并正在采取措施.所以说,中国已经步入大数据时代,这种重视是由政府层面自上而下进行普及的,可能还未普及到普通百 大数据分析师培训项目 课程背景 Big Data“大数据”是继云计算.物联网之后IT产业又一次颠覆性

大数据与市场营销

1大数据定义: 大数据还没有一个统一的定义.麦肯锡(美国首屈一指的咨询公司)是研究大数据的先驱.在其报告<Big data: The nextfrontier for innovation, competition,and productivity>中给出的大数据定义是:大数据指的是大小超出常规的数据库工具获取.存储.管理和分析能力的数据集.但它同时强调,并不是说一定要超过特定TB 值的数据集才能算是大数据.亚马逊(全球最大的电子商务公司)的大数据科学家John Rauser 给出了一个简单的

什么是云计算?什么是大数据?二者应该学哪个?

今天小编要跟大家分享的文章是关于什么是云计算?什么是大数据?二者应该学哪个?无论是大数据还是云计算,都是目前互联网行业非常火的两个职业,对于想要加入互联行业的小伙伴来说,二者的区别是什么?应该学习哪个呢? 正在学习Linux以及Linux入门的小伙伴一定要好好学习一下. 云计算(cloud computing)是基于互联网的相关服务的增加.使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源.云是网络.互联网的一种比喻说法.过去在图中往往用云来表示电信网,后来也用来表示互联网和

好消息!王家林老师免费为全社会培养100万名优秀的大数据从业人员!

大数据是用scala语言,和java有些不同又比java强大,省去了很多繁琐的东西,scala中的的接口用trait来定义,不同于java的接口,trait中可以有抽象方法也可以有不抽象方法.scala中的方法中还可以定义方法,这在java中是从来没有的. 十三五规划提出,实施国家大数据战略,推进数据资源开放共享.这标志着大数据已被国家政府纳入创新战略层面,成为国家战略计划的核心任务之一.在2015年9月,国务院发布<促进大数据发展行动纲要>,旨在大力促进中国数据技术的发展,数据将被作为战略性

大数据生涯感悟

不知不觉,毕业一年半了,从实习开始接触大数据技术.那时懵懂的我,不对,应该说懵逼的我在想,卧槽,这是啥这么牛逼,我都不会啊...啥都不会完蛋了..即便现在也是这样认为= = 今年还是有很多变故的,不过丝毫无法阻挡我对技术的热情,这种热情犹如滔滔江水连绵不绝,哗啦啦啦啦啦啦~上图,让我们看下大数据工程师要掌握的技能有哪些呢? 乍一看吓尿了..等我洗个澡先... 如果你愿意牺牲自己的所有时间去学习,研究,实践.我相信能够完全掌握里面的所有东西,只不过这是个漫长的过程.我觉得这张图还是很形象的,左边代

大数据-国家发展规划

发展形势 当前全球信息化发展面临的环境.条件和内涵正发生深刻变化.从国际看,世界经济在深度调整中曲折复苏.增长乏力,全球贸易持续低迷,劳动人口数量增长放缓,资源环境约束日益趋紧,局部地区地缘博弈更加激烈,全球性问题和挑战不断增加,人类社会对信息化发展的迫切需求达到前所未有的程度.同时,全球信息化进入全面渗透.跨界融合.加速创新.引领发展的新阶段.信息技术创新代际周期大幅缩短,创新活力.集聚效应和应用潜能裂变式释放,更快速度.更广范围.更深程度地引发新一轮科技革命和产业变革.物联网.云计算.大数据

工信部&lt;&lt;大数据产业发展规划&gt;&gt;

大数据产业发展规划 (2016-2020年) 发布时间:2017-01-17  来源:规划司 数据是国家基础性战略资源,是21世纪的"钻石矿".党中央.国务院高度重视大数据在经济社会发展中的作用,党的十八届五中全会提出"实施国家大数据战略",国务院印发<促进大数据发展行动纲要>,全面推进大数据发展,加快建设数据强国."十三五"时期是我国全面建成小康社会的决胜阶段,是新旧动能接续转换的关键时期,全球新一代信息产业处于加速变革期,大数据技