数据的吞吐(date in, data out)

无论些什么样的程序,其目的都是相同的,用某种方式组织数据以为我们的目的进行服务。但是包含的数据不是随机排列的位或者字节。我们总是把数据构建成能够描述存在于世界的个体。如果我们知道一个名字和一个邮件地址同属于一个人的时候那么这些数据就变得更有意义了。

在真是的世界中,并不是所有的看起来很相似的个体都可一归为一个type。比如一个人也许有一个电话号,另外一个或许就只有移动电话,也许还有个人两个都有。或许一个人有三个邮箱,或许其他人一个页没有。再例如,一个西班牙人有三个姓,然而一个英国人就只有一个。

面向对象编程流行的一个原因就是其中有复杂的数据结构的对象帮助我们表述和联系了真是的世界实体。这个思想的确是目前最好的。

当我们存储这些对象的时候,麻烦也来了。传统的我们会把数据存放在行列式的关系数据库中,这类似于使用一个电子表格。由于存储介质的不灵或导致面向对象的数据结构的灵活性丢失殆尽。

如果我们把对象作为一个对象存储,而不是围绕着受限制的电子表格形式的模型设计应用,将会发生什么呢?这样我们就能专注于现实的数据了。面向对象的灵活性有回到了我们的掌握中。

对象是特定于编程语言的,是贮存在内存中的数据结构。如果想在网络上传递,或者存储,需要把对象转换为其他的格式。JSON是一种便于人们阅读的表现对象的数据形式。在NoSQL世界中,他已经成为数据交换的标准格式。当一个对象被序列化到一个JSON格式后,他就是JSON
Document。

ES是一个分布式的document存储仓库。他能实时的存储和检索复杂的数据结构——如JSON
document。也就是说,只要document被存储在ES中,这个document就能从cluster中的任何一个node中被检索。

当然,我们需要的不仅仅是数据存储,我们必须要快速对数据进行批量的检索。然而一系列的NoSQL解决方案允许我们把对象存储为document,这依然需要我们去思考我们用什么样的方式来查询数据,去思考那个字段被索引能达到快速的检索数据。

在ES中,所有的字段(field)在默认情况下都是被索引(indexed)的。因此每个field都有一个专用的反转的index以便于快速检索数据。不像其他的数据库,ES能在同一个查询中所有的专用的反转的index,以令人惊奇的速度返回数据。

这个章节我们将会使用create,retrieve,update,和delete
API操作document。现在我们不关心document中的数据,或者怎么查询他们。我们关心就是怎么使用ES安全的存储数据,然后怎么获取存储的数据。

原文:http://www.elasticsearch.org/guide/en/elasticsearch/guide/current/data-in-data-out.html#data-in-data-out

数据的吞吐(date in, data out),布布扣,bubuko.com

时间: 2024-10-06 02:19:45

数据的吞吐(date in, data out)的相关文章

向数据库中插入一个DateTime类型的数据到一个Date类型的字段中,需要转换类型。TO_DATE('{0}','YYYY-MM-DD'))

需要指出的是,C#中有datetime类型,但是这个类型是包括小时,分钟,秒的.这个格式与数据库中的Date类型不符,如果将now设为datetime类型插入数据会失败. 需要通过TO_DATE('字段','YYYY-MM-DD'))转换.如下: string.Format("insert into tablename (TIME) values(TO_DATE('{0}','YYYY-MM-DD'))",now) 错误写法: string.Format("insert in

大数据黑客马拉松(Big Data Hackathon)赛后小结

上周末参加了IBM Analytics举办的“大数据黑客马拉松(Big Data Hackathon)北京站”比赛,4个人组队拿到了第一名,非常的开心,也非常的不容易,我们四个wesor像共事了很久一样,各司其职配合默契,拿下了最后的锦标.第一天9点到晚上11点多,本想熬夜可是受限于主办方场地,第二天9点到下午三点,连吃饭都端着盘子对着电脑.这两天累的一直缓解不过来,睡觉都觉得累的睡不着,但是确实学到了很多的东西,从比赛中,从队友身上…… 就像博士说的,要说服别人觉得自己的工作非常重要.这句话之

Xtrabackup恢复mysql数据时候报错:Original data directory is not empty!

使用Xtrabackup恢复mysql数据时候报错:Original data directory is not empty! at /usr/bin/innobackupex line 568. 网上普遍只说了引起这种想象的两种原因,还有第三种原因是我遇到的: 1.恢复备份文件要保证mysql的data目录为空,否则会报错,解决办法:  # /etc/init.d/mysqld stop # cd /usr/local/mysql # cp -rf data{,.bak} # rm -rf .

WIN7系统 64位出现 Net Framework 数据提供程序要求 Microsoft Data Access Components(MDAC).

WIN7系统 64位出现  Net Framework 数据提供程序要求 Microsoft Data Access Components(MDAC).请安装 Microsoft Data Access Components(MDAC)2.6或更高的版本.怎么解决,已经下载了2.8版本安装了,但是还是不顶用. 2015-12-02 10:51网友采纳 这应该是你安装的系统有精简过系统文件,导致安装一些程序缺乏文件出错.换个系统吧.可到我的系统贴吧下载GHO系统与GHO安装工具,可以在进入现在的系

跨数据存取控件Universal Data Access Components

最近发现MDT推出去的系统的有不同问题,其问题就不说了,主要是策略权限被域继承了.比如我们手动安装的很多东东都是未配置壮态,推的就默认为安全壮态了,今天细找了一下,原来把这个关了就可以了. 跨数据存取控件Universal Data Access Components

jQuery源码解读 - 数据缓存系统:jQuery.data

jQuery在1.2后引入jQuery.data(数据缓存系统),主要的作用是让一组自定义的数据可以DOM元素相关联——浅显的说:就是让一个对象和一组数据一对一的关联. 一组和Element相关的数据如何关联着这个Element一直是web前端的大姨妈,而最初的jQuery事件系统照搬Dean Edwards的addEvent.js:将回调挂载在EventTarget上,这样下来,循环引用是不可忽视的问题.而在web前端中,数据和DOM的关系太过基情和紧张,于是jQuery在1.2中,正式缔造了

大数据人才缺口多大?data大数据工程师好就业吗?这是大家学习大数据最关心的问题

小编来告诉你,大数据工程师年薪50万以上,技术人员缺口150万,高端技术人才未来会遭到企业疯抢.大数据方向由于人才稀缺度较高,薪资普遍更高,待遇涨幅也会超过其他岗位.接下分析大数据人才缺口和data工程师就业的问题. 高薪的背后是人才的紧缺,根据主流数据媒体调查,全国目前的大数据人才仅46万,未来3-5年内大数据的人才缺口将高达150万.有机构对一线城市2018年国内科技领域热门职位薪酬范围及跳槽涨幅进行了预测: 大数据方向由于人才稀缺度较高,相同工作年限的情况下,大数据工程师的薪资普遍更高,待

C# 使用linq处理返回带datetime类型数据 json显示/date(xxxxx)/

以前做项目一直遇到带数据库里面带datetime类型数据 返回到前台会变成时间戳 这显然不是我们想要的 于是我在最初的项目中 选择在前端JS格式化date(xxxx)形式的方式处理 现在想来有点蠢 今天灵机一动 想到是不是可以在服务端就把datetime转成string返回到 结果就有了此文 服务端: 1 DataGetEntities context = new DataGetEntities(); 2 var queryTyphoon = context.T_TyphoonPaths.Whe

Tensorflow 处理libsvm格式数据生成TFRecord (parse libsvm data to TFRecord)

#写libsvm格式 数据 write libsvm ? ? #!/usr/bin/env python #coding=gbk # ============================================================================== # \file gen-records.py # \author chenghuige # \date 2016-08-12 11:52:01.952044 # \Description # ========