编程随笔-ElasticSearch知识导图(1):全景

1. 由ElasticSearch开始的思考

??官方介绍Elasticsearch(以下简称ES)是一个基于Apache Lucene(TM)的开源搜索引擎。但我最初了解ES却是从NoSQL数据库开始,在使用、研究了ES一段时间后,我发现这是一个优秀的分布式部署软件,不仅是一个全文搜索引擎、还是一个分布式存储系统、一个分布式数据库。
??在ES之前我们习惯使用关系数据库(RDBMS)来进行现实数据世界的建模,将现实世界中的领域模式表示为实体-关系模型(E-R模型)。但现实世界的领域本体(Ontology)是如此复杂,领域对象中的关系不止是关联关系,可能还有父子(从属)关系,依赖关系等一些更复杂的关系。在软件世界中,我们一直在苦苦探索如何有效表达现实世界领域本体的软件模型,对象数据库一直是数据库界希冀用来表达领域模型的利器,但时至今日,仍缺乏具有口碑的产品。
??十几年前,我还在攻读计算机科学博士学位,研究领域本体的知识表达与软件建模。那时XML和RDF(Resource Description Framework, 资源描述框架)是流行的领域本体表达形式,因而也催生了XML数据库,XML柔性查询(或半柔性查询)之类的技术与一些不太成熟的产品。当时感觉最需要的就是一个能够存储,快速检索领域知识的数据库,但主流的关系数据库产品在这方面存在一些天然的缺陷。
??ES是我使用过的NoSQL数据库产品中被认为最适合用于领域本体建模的系统(如内置父子关系的映射),同时也是学习分布式软件架构的最好示例系统。

2. 知识导图全景

??ES的知识点众多,发展到今天,已经release到7.0版本。从6.0版本开始,ES在数据模型上做了一个重大变化:基于查询和存储效率考虑,ES在index中删除了type的概念,即在一个index中只有一个type,而在6.0之前的版本,一个index中允许创建多个type。
??ES的生态也在逐渐发展,ES与Logstash及Kibana构成应用栈,可轻松构建一个采集大数据,多维度分析大数据的数据仓库系统。
??在这里,我把ES中一些主要的知识点以导图的形式(还会不断完善)展现出来,如图1所示。

??图1中的知识点简单描述如下:

  • ? 分布式构架:ES采用典型的主/从(master/slave)分布式架构。ES集群中可以有多个主节点(node,最小的主节点数目可设置),主从节点通过选举机制产生。在ES中,一个index可使用多个分片(shard)来存贮,分片同样使用主/从方式,主从分片在读写数据的权限不同。
  • ?映射(mapping):如同XML使用XML Schema作为元数据来描述XML数据对象的框架一样,ES中的映射本质是描述index中数据对象的元数据,它定义了数据对象的结构、格式已经各个字段(field)对应的数据类型。ES中的映射可以在创建index时自行创建,也可以由系统实现动态映射。
  • ?集群数据管理:对于ES中的数据对象:index和document(在ES中,将一个使用JSON对象表示的数据对象称为一个文档),ES提供访问接口实现对index和document的增删改查操作(支持批量操作)。对于集群中的其它元数据,ES也提供访问接口对集群,节点进行操作。
  • ? 搜索(search):全文搜索时ES的核心功能,ES提供了专用于查询的DSL(Domain Specified Language,领域专用语言),也提供了基于URL的简易搜索形式。在搜索的同时ES也提供聚合(Aggregation)和排序对数据进行处理。
  • ?SQL访问:ES提供了xpack插件形式的SQL访问形式,用户可以使用Rest API访问接口使用SQL语言像使用关系数据库一样对数据进行查询。

    3. 参考文献

    1. https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html
    2. Clinton Gormley &Zachary Tong, Elasticsearch: The Definitive Guide,2015

原文地址:http://blog.51cto.com/solarboy/2347314

时间: 2024-10-08 13:40:28

编程随笔-ElasticSearch知识导图(1):全景的相关文章

编程随笔-ElasticSearch知识导图(2):分布式架构

1. 集群结构 ??在我们探究ES的分布式架构之前,我们使用一个简单的导图描述一下我们在设计分布式系统时会考虑的问题,如图1所示.??带着图1中的问题我们来探究一下ES集群,ES集群是一个典型的主从结构,从某种意义上来说,符合现今大多数主流分布式存储.分布式计算系统的审美要求.下面我们逐步来了解集群中的这些东东.??先用来自文献2的一张集群结构图开始我们的探究. 1.1 集群节点 ??在ES集群中,一个ES实例就是一个节点(node),图2中显示的是三个节点的一个集群.集群中有一个主节点(mas

002-and design-dva.js 知识导图-01JavaScript 语言,React Component

一.概述 参看:https://github.com/dvajs/dva-knowledgemap react 或 dva 时会不会有这样的疑惑: es6 特性那么多,我需要全部学会吗? react component 有 3 种写法,我需要全部学会吗? reducer 的增删改应该怎么写? 怎么做全局/局部的错误处理? 怎么发异步请求? 怎么处理复杂的异步业务逻辑? 怎么配置路由? 二.JavaScript 语言 2.1.变量声明 const 和 let 不要用 var,而是用 const 和

java编程思想-并发思维导图

后续加深理解

java编程思想-泛型思维导图

后续加深理解

java编程思想-注解思维导图

后续加深理解

003-and design-dva.js 知识导图-01-Reducer,Effect,Subscription,Router,dva配置,工具

一.Reducer reducer 是一个函数,接受 state 和 action,返回老的或新的 state .即:(state, action) => state 增删改 以 todos 为例. app.model({ namespace: 'todos', state: [], reducers: { add(state, { payload: todo }) { return state.concat(todo); }, remove(state, { payload: id }) {

JavaScript对象、原型、原型链知识总结思维导图

这个思维导图是我对Object,原型,原型链等知识的总结,主要参考高程一书第六章,写完才发现这么多,以后可能会进行精简.内容可能会出现差错,欢迎批评指正.下载==>Github ECMAScript支持面向对象(OO)编程,但不使用类或者接口.对象可以在代码执行过程中创建和增强,因此具有动态性而非严格定义的实体.在没有类的情况下,可以采用下列模式创建对象. 工厂模式,使用简单的函数创建对象,为对象添加属性和方法,然后返回对象.这个模式后来被构造函数模式所取代. 构造函数模式,可以创建自定义引用类

程序员如何用思维导图高效学习Java编程

Java作为一种常见的计算机编程语言,它具有简单.稳定.多线等特点,被广泛运用于PC.游戏控制台.数据中心.超级计算机以及互联网,相对于C++,Java会稍微容易些,但是依然需要我们学会很多的编程,作为一名程序员,如何系统的掌握这些程序呢?下面是分享的用思维导图学习Java编程方法介绍,一起看看吧! 为什么要用思维导图学习Java呢? 首先思维导图是一种结构性模型,有利于整合知识框架,其次,思维导图是一种带色彩的图文结合,相对于单纯的文字而言,更好的被人们所记住,迅捷画图作为一款好用的思维导图工

Python基础知识思维导图|自学Python指南

微信公众号[软件测试大本营]回复"python",获取50本python精华电子书. 测试/开发知识干货,互联网职场,程序员成长崛起,终身学习. 现在最火的编程语言是什么?答案就是Python. 人生苦短,我用Python Python的特点: Python一直是位于编程语言排行榜的前三位, Python遵循"简单.优雅.明确"的设计哲学,语法简单易懂,而且Python的中文文档也于2019年3月份发布,各种开发环境也越来越简单. Python免费开源. Pytho