分布式搜索elasticsearch 基本概念

ElasticSearch官网:http://www.elasticsearch.org/

先上一张elasticsearch的整体框架图:

ElasticSearch是基于Lucene开发的分布式搜索框架,包括例如以下特性:

分布式索引、搜索

索引自己主动分片、负载均衡

自己主动发现机器、组建集群

支持Restful 风格接口

配置简单等。

下图是ElasticSearch的第三方插件管理工具。通过它能够非常清晰的看到它索引分布的情况:哪块分布在那里,占用空间多少都能够看到。而且能够管理索引。

当一台机挂了时。整个系统会对挂机里的内容又一次分配到其他机器上,当挂掉的机又一次增加集群时,又会又一次把索引分配给它。当然,这些规则都是能够依据參数进行设置的,很灵活。ElasticSearch是先把索引的内容保存到内存之中,当内存不够时再把索引持久化到硬盘中,同一时候它另一个队列。是在系统空暇时自己主动把索引写到硬盘中。

的后端存储方式能够有一下四种:

1. 像普通的 Lucene 索引,存储在本地文件系统中;

2. 存储在分布式文件系统中,如 freeds;

3. 存储在 Hadoop 的 hdfs中;

4. 存储在亚马逊的 S3 云平台中。

它支持插件机制,有丰富的插件。

比方和 mongoDB、couchDB 同步的river 插件。分词插件,Hadoop 插件。脚本支持插件等。

以下介绍elasticsearch的几个概念:

cluster

代表一个集群,集群中有多个节点,当中有一个为主节点。这个主节点是能够通过选举产生的。主从节点是对于集群内部来说的。es 的一个概念就是去中心化,字面上理解就是无中心节点。这是对于集群外部来说的。由于从外部来看 es 集群。在逻辑上是个总体,与不论什么一个节点的通信和与整个 es 集群通信是等价的。在配置文件里能够配置集群的名字,在同一局域网内的机器。配置同样的cluster名字,将会自己主动组建集群,不须要其他特殊配置。

shards

代表索引分片。es 能够把一个完整的索引分成多个分片。这种优点是能够把一个大的索引拆分成多个,分布到不同的节点上,构成分布式搜索。

分片的数量仅仅能在索引创建前指定。而且索引创建后不能更改。

replicas

代表索引副本。es 能够设置多个索引的副本,副本的作用一是提高系统的容错性,当某个节点某个分片损坏或丢失时能够从副本中恢复。二是提高es的查询效率。es 会自己主动对搜索请求进行负载均衡。

recovery

代表数据恢复或叫数据又一次分布,es 在有节点增加或退出时会依据机器的负载对索引分片进行又一次分配,挂掉的节点又一次启动时也会进行数据恢复。

river

代表 es 的一个数据源,也是其他存储方式(如:数据库)同步数据到es的一个方法。它是以插件方式存在的一个 es 服务,通过读取 river 中的数据并把它索引到 es 中,官方的 river 有 couchDB、RabbitMQ、Twitter、Wikipedia。

gateway

代表 es 索引的持久化存储方式,es默认是先把索引存放到内存中,当内存满了时再持久化到硬盘。当这个 es 集群关闭再又一次启动时就会从 gateway 中读取索引数据。es 支持多种类型的 gateway。有本地文件系统(默认)。分布式文件系统。Hadoop 的 HDFS 和 amazon 的 s3 云存储服务。

discovery.zen

代表 es 的自己主动发现节点机制,es是一个基于 p2p 的系统,它先通过广播寻找存在的节点。再通过多播协议来进行节点之间的通信,同一时候也支持点对点的交互。

Transport

代表es 内部节点或集群与client的交互方式,默认内部是使用 tcp 协议进行交互。同一时候它支持 http 协议(json格式)、thrift、servlet、memcached、zeroMQ等的传输协议(通过插件方式集成)。

时间: 2024-10-12 19:39:09

分布式搜索elasticsearch 基本概念的相关文章

[转]分布式搜索elasticsearch几个概念解析

Document 在Elasticsearch世界(或者Lucene世界中),Document是主要的实体,文档这个单词有特殊的含义.它指的是在Elasticsearch中被存储到唯一ID下的由最高级或者根对象 (root object )序列化而来的JSON.Elasticsearch的documents最终被存储为Lucene documents. 文档元数据 一个文档不只包含了数据.它还包含了元数据(metadata) —— 关于文档的信息.有三个元数据元素是必须存在的,它们是: 名字 说

分布式搜索elasticsearch几个概念解析

介绍下es的几个概念: cluster代表一个集群,集群中有多个节点,其中有一个为主节点,这个主节点是可以通过选举产生的,主从节点是对于集群内部来说的.es的一个概念就是去中心化,字面上理解就是无中心节点,这是对于集群外部来说的,因为从外部来看es集群,在逻辑上是个整体,你与任何一个节点的通信和与整个es集群通信是等价的. shards代表索引分片,es可以把一个完整的索引分成多个分片,这样的好处是可以把一个大的索引拆分成多个,分布到不同的节点上.构成分布式搜索.分片的数量只能在索引创建前指定,

分布式搜索elasticsearch配置文件详解

elasticsearch的config文件夹里面有两个配置文件:elasticsearch.yml和logging.yml,第一个是es的基本配置文件,第二个是日志配置文件,es也是使用log4j来记录日志的,所以logging.yml里的设置按普通log4j配置文件来设置就行了.下面主要讲解下elasticsearch.yml这个文件中可配置的东西. cluster.name: elasticsearch 配置es的集群名称,默认是elasticsearch,es会自动发现在同一网段下的es

分布式搜索elasticsearch 文献检索索引 入门

1.首先,例如,下面的数据被提交给ES该指数 {"number":32768,"singer":"杨坤","size":"5109132","song":"今夜二十岁","tag":"中国好声音","timelen":319} {"number":32769,"singer&qu

分布式搜索Elasticsearch集群配置

  配置文件位于%ES_HOME%/config/elasticsearch.yml文件中,用Editplus打开它,你便可以进行配置.   所有的配置都可以使用环境变量,例如:node.rack: ${RACK_ENV_VAR}  表示环境变量中有一个RACK_ENV_VAR变量. 下面列举一下elasticsearch的可配置项: 1. 集群名称,默认为elasticsearch:cluster.name: elasticsearch 2. 节点名称,es启动时会自动创建节点名称,但你也可进

分布式搜索elasticsearch 索引文档的检索 入门

1.首先将如下数据提交到ES中建立索引 {"number":32768,"singer":"杨坤","size":"5109132","song":"今夜二十岁","tag":"中国好声音","timelen":319} {"number":32769,"singer"

分布式搜索elasticsearch 搜索结果排序不一致性问题

想象这一种情况,如果搜索结果中得分出现相同的情况下:由于搜索会在分片的副本之间均衡的轮询请求,可能会出现请求在不同的副本之间返回的循序不同,从而影响排序结果的稳定性. 搜索接口有提供preference参数:curl localhost:9200/_search?preference=xyzabc123. 可以使用的参数: _primary,_primary_first,_local,_only_node:xyz,_prefer_node:xyz以及_shards:2,3这样的值. 参数的意义分

(转)分布式搜索Elasticsearch——配置

配置文件位于%ES_HOME%/config/elasticsearch.yml文件中,用Editplus打开它,你便可以进行配置.         所有的配置都可以使用环境变量,例如: node.rack: ${RACK_ENV_VAR}         表示环境变量中有一个RACK_ENV_VAR变量.         下面列举一下elasticsearch的可配置项:         1. 集群名称,默认为elasticsearch: cluster.name: elasticsearch

分布式搜索elasticsearch 环境搭建

1.elasticsearch安装 elasticsearch的安装超级easy,解压即用(要事先安装好java环境). 到官网 http://www.elasticsearch.org下载最新版的 elasticsearch 运行包: 下载完解开有三个包: bin 是运行的脚本, config 是设置文件, lib 是放依赖的包. plugins 的文件夹,把插件放到这个文件夹中. Linux 环境下直接运行 bin/elasticsearch 就开启了: windows 运行 bin/ela