ElasticSearch 全文检索— ElasticSearch 核心概念

ElasticSearch核心概念-Cluster

  1)代表一个集群,集群中有多个节点,其中有一个为主节点,这个主节点是可以通过选举产生的,主从节点是对于集群内部来说的。es的一个概念就是去中心化,字面上理解就是无中心节点,这是对于集群外部来说的,因为从外部来看es集群,在逻辑上是个整体,你与任何一个节点的通信和与整个es集群通信是等价的。

  2)主节点的职责是负责管理集群状态,包括管理分片的状态和副本的状态,以及节点的发现和删除。

  3)注意:主节点不负责对数据的增删改查请求进行处理,只负责维护集群的相关状态信息。

  集群状态查看

http://192.168.20.135:9200/_cluster/health?pretty

ElasticSearch核心概念-shards

  1)代表索引分片,es可以把一个完整的索引分成多个分片,这样的好处是可以把一个大的索引水平拆分成多个,分布到不同的节点上。构成分布式搜索, 提供性能和吞吐量。

  2)分片的数量只能在创建索引库时指定,索引库创建后不能更改。

[[email protected] elasticsearch-2.4.0]$ curl -XPUT ‘masternode:9200/zimo3/‘ -d‘{"settings":{"number_of_replicas":2}}‘

{"acknowledged":true}

  

  默认是一个索引库有5个分片

  每个分片中最多存储2,147,483,519条数据

https://www.elastic.co/guide/en/elasticsearch/reference/2.4/_basic_concepts.html

ElasticSearch核心概念-replicas

  代表索引副本,es可以给索引分片设置副本,

  副本的作用:

    一是提高系统的容错性,当某个节点某个分片损坏或丢失时可以从副本中恢复。

    二是提高es的查询效率,es会自动对搜索请求进行负载均衡。

  【副本的数量可以随时修改】

  可以在创建索引库的时候指定

curl -XPUT ‘master:9200/zimo3/‘ -d‘{"settings":{"number_of_replicas":2}}‘

  默认是一个分片有1个副本

  index.number_of_replicas: 1

  也可以修改已有库的副本数目

 [[email protected] elasticsearch-2.4.0]$ curl -XPUT ‘masternode:9200/zimo3/_settings‘ -d‘{"index":{"number_of_replicas":1}}‘
{"acknowledged":true}

  

  可以看到zimo3的副本数目较上面少了一个。

  注意:主分片和副本不会存在一个节点中

ElasticSearch核心概念-recovery

  代表数据恢复或叫数据重新分布,es在有节点加入或退出时会根据机器的负载对索引分片进行重新分配,挂掉的节点重新启动时也会进行数据恢复。

ElasticSearch核心概念-gateway

  代表es索引的持久化存储方式,es默认是先把索引存放到内存中,当内存满了时再持久化到硬盘。当这个es集群关闭再重新启动时就会从gateway中读取索引数据。es支持多种类型的gateway,有本地文件系统(默认),分布式文件系统,Hadoop的HDFS和Amazon的s3云存储服务。

 Hadoop插件安装

bin/plugin install elasticsearch/elasticsearch-repository-hdfs/2.2.0

 官网安装说明

https://github.com/elastic/elasticsearch-hadoop/tree/master/repository-hdfs

https://oss.sonatype.org/content/repositories/snapshots/org/elasticsearch/elasticsearch-repository-hdfs/

 Hadoop 插件配置

vi elasticsearch.yml
gateway:
    type: hdfs
gateway:
    hdfs:
    uri: hdfs://localhost:9000

ElasticSearch核心概discovery.zen

  代表es的自动发现节点机制,es是一个基于p2p的系统,它先通过广播寻找存在的节点,再通过多播协议来进行节点之间的通信,同时也支持点对点的交互。

  如果是不同网段的节点如何组成es集群

  禁用自动发现机制

discovery.zen.ping.multicast.enabled: false

  设置新节点被启动时能够发现的主节点列表

discovery.zen.ping.unicast.hosts: ["192.168.20.135", "192.168.20.136", "192.168.20.137"]

ElasticSearch核心概Transport

  代表es内部节点或集群与客户端的交互方式,默认内部是使用tcp协议进行交互,同时它支持http协议(json格式)、thrift、servlet、memcached、zeroMQ等的传输协议(通过插件方式集成)。

ElasticSearch Setting

  settings修改索引库默认配置

https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-create-index.html

  例如:分片数量,副本数量

  查看:

[[email protected] elasticsearch-2.4.0]$ curl -XGET http://masternode:9200/zimo/_settings?pretty
{
  "zimo" : {
    "settings" : {
      "index" : {
        "creation_date" : "1535008575806",
        "number_of_shards" : "5",
        "number_of_replicas" : "1",
        "uuid" : "oGqP-hgzRGuIxPCssdj3jA",
        "version" : {
          "created" : "2040099"
        }
      }
    }
  }
}

  操作不存在索引(创建):

curl -XPUT ‘http://master:9200/zimo3/‘ -d ‘{"settings":{"number_of_shards":3,"number_of_replicas":2}}‘

  操作已存在索引(修改):

curl -XPUT ‘http://master:9200/zimo3/_settings‘ -d ‘{"index":{"number_of_replicas":1}}’

ElasticSearch Mapping

  就是对索引库中索引的字段名称及其数据类型进行定义,类似于mysql中的表结构信息。不过es的mapping比数据库灵活很多,它可以动态识别字段。一般不需要指定mapping都可以,因为es会自动根据数据格式识别它的类型,如果你需要对某些字段添加特殊属性(如:定义使用其它分词器、是否分词、是否存储等),就必须手动添加mapping。

https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping.html

  查询索引库的mapping信息:

[[email protected] elasticsearch-2.4.0]$ curl -XGET http://masternode:9200/zimo/_mapping?pretty
{
  "zimo" : {
    "mappings" : {
      "user" : {
        "properties" : {
          "age" : {
            "type" : "string"
          },
          "name" : {
            "type" : "string"
          }
        }
      }
    }
  }
}

  操作不存在的索引(创建):

[[email protected] elasticsearch-2.4.0]$ curl -XPUT ‘http://masternode:9200/zimo4‘ -d‘{"mapping":{"user":{"properties":{"name":{"type":"string","analyzer":"ik_max_word"}}}}}‘
{"acknowledged":true}

  操作已存在的索引(修改):

curl -XPOST http://masternode:9200/zimo4/user/_mapping -d‘{"properties":{"name":{"type":"string","analyzer":"ik_max_word"}}}‘

  更新或者修改已存在mapping遇到的问题

http://stackoverflow.com/questions/38179683/how-to-update-the-mapping-in-elasticsearch-to-change-the-field-datatype-and-chan

以上就是博主为大家介绍的这一板块的主要内容,这都是博主自己的学习过程,希望能给大家带来一定的指导作用,有用的还望大家点个支持,如果对你没用也望包涵,有错误烦请指出。如有期待可关注博主以第一时间获取更新哦,谢谢!

原文地址:https://www.cnblogs.com/zimo-jing/p/9533198.html

时间: 2024-10-08 09:14:06

ElasticSearch 全文检索— ElasticSearch 核心概念的相关文章

ElasticSearch学习笔记-01 简介、安装、配置与核心概念

一.简介 ElasticSearch是一个基于Lucene构建的开源,分布式,RESTful搜索引擎.设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便.支持通过HTTP使用JSON进行数据索引. Lucene只是一个框架,要利用它的功能,需要使用JAVA,并且在程序中集成Lucene.更糟的是,Lucene非常复杂,需要做很多的学习了解,才能明白它是如何运行的. Elasticsearch使用Lucene作为内部引擎,但是在使用它做全文搜索时,只需要使用统一开发好的API即可,

Elasticsearch是什么以及核心概念

Elasticsearch是什么 Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎.它可以在很短的时间内存储,搜索和分析大量的数据.它通常作为具有复杂搜索场景情况下的核心发动机.我们举几个例子来说明Elasticsearch能做什么? 当你经营一家网上商店,你可以让你的客户搜索你卖的商品.在这种情况下,你可以使用Elasticsearch来存储您的整个产品目录和库存信息,为客户提供精准搜索,可以为客户推荐相关商品. 当你想收集日志或者交易数据的时候,要分析和挖掘这些数据,寻找趋

Elasticsearch学习笔记(六)核心概念和分片shard机制

一.核心概念 1.近实时(Near Realtime NRT) (1)从写入数据到数据可以被搜索到有一个小延迟(大概1秒): (2)基于es执行搜索和分析可以达到秒级 2.集群(Cluster) 一个集群下有多个节点.集群名称,默认是elasticsearch 3.节点(Node) 集群中的一个节点,节点也有一个名称(默认是随机分配的),节点名称很重要(在执行运维管理操作的时        候),默认节点会去加入一个名称为"elasticsearch"的集群,如果直接启动一堆节点,那么

ElasticSearch笔记整理(二):CURL操作、ES插件、集群安装与核心概念

[TOC] CURL操作 CURL简介 curl是利用URL语法在命令行方式下工作的开源文件传输工具,使用curl可以简单实现常见的get/post请求.简单的认为是可以在命令行下面访问url的一个工具.在centos的默认库里面是有curl工具的,如果没有请yum安装即可. curl -X 指定http的请求方法 有HEAD GET POST PUT DELETE -d 指定要传输的数据 -H 指定http请求头信息 curl创建索引库 curl -XPUT http://<ip>:9200

Elasticsearch入门教程(二):Elasticsearch核心概念

原文:Elasticsearch入门教程(二):Elasticsearch核心概念 版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/vbirdbest/article/details/79200022 基本概念介绍 Elasticsearch是一个基于Lucene构建的开源.分布式.RESTful的搜索引擎,能够实现近实时(NRT)搜索,稳定.可靠.安装方便.Elasticsearch 不

Elasticsearch介绍,一些概念的笔记

Elasticsearch,分布式,高性能,高可用,可伸缩的搜索和分析系统 什么是搜索? 如果用数据库做搜索会怎么样? 什么是全文检索和Lucene? 什么是Elasticsearch? Elasticsearch的功能 什么是搜索 提供一种数据提取的服务 垂直搜索(站内搜索) 互联网的搜索:电商网站,招聘网站,新闻网站,各种app IP系统的搜索:OA软件,会议管理,日程管理,项目管理,员工管理,搜索"张三", 如果用数据库做搜索会怎么样? 当如果你用电商系统搜索的时候 select

干货 |《从Lucene到Elasticsearch全文检索实战》拆解实践

1.题记 2018年3月初,萌生了一个想法:对Elasticsearch相关的技术书籍做拆解阅读,该想法源自非计算机领域红火已久的[樊登读书会].得到的每天听本书.XX拆书帮等. 目前市面上Elasticsearch的中文书籍就那么基本,针对ES5.X以上的三本左右:国外翻译有几本,都是针对ES1.X,2.X版本,其中<深入理解Elasticsearch>还算比较经典. 拆书的目的: 1)梳理已有的Elasticsearch知识体系: 2)拾遗拉在角落的Elasticsearch知识点: 3)

14套java精品高级架构课,缓存架构,深入Jvm虚拟机,全文检索Elasticsearch视频教程

14套java精品高级架构课,缓存架构,深入Jvm虚拟机,全文检索Elasticsearch,Dubbo分布式Restful服务,并发原理编程,SpringBoot,SpringCloud,RocketMQ中间件,Mysql分布式集群,服务架构,运维架构视频教程 14套精品课程介绍: 1.14套精品是最新整理的课程,都是当下最火的技术,最火的课程,也是全网课程的精品: 2.14套资源包含:全套完整高清视频.完整源码.配套文档: 3.知识也是需要投资的,有投入才会有产出(保证投入产出比是几百上千倍

Elasticsearch全文检索浅析系列(四)索引的基本操作

在今天,读书有时是件"麻烦"事.它需要你付出时间,付出精力,还要付出一份心境.--仅以<Elasticsearch全文检索浅析系列>来祭奠那逝去的-- 使用VS2015创建MVC项目运行之后,发现微软很贴心的生成了一套用户授权验证系统,界面也很漂亮,但是扒拉代码一看,囧--新的membership框架,真是太给力了,连数据库表都给你生成了(EF的功劳),问题是,你这一堆一堆的代码,虽然看着很吊(也 确实很吊),但是看着人头大呢,只好研究研究,研究过程记录一下,希望可以帮到那