ElasticSearch 索引查询使用指南——详细版

  

  1. 我们通常用用_cat API检测集群是否健康。 确保9200端口号可用:

  curl ‘localhost:9200/_cat/health?v‘

  绿色表示一切正常, 黄色表示所有的数据可用但是部分副本还没有分配,红色表示部分数据因为某些原因不可用.

  2.通过如下语句,我们可以获取集群的节点列表:

  curl ‘localhost:9200/_cat/nodes?v‘

  3。通过如下语句,列出所有索引:

  curl ‘localhost:9200/_cat/indices?v‘

  返回结果:

    

  4.创建索引

  现在我们创建一个名为“customer”的索引,然后再查看所有的索引:

 curl -XPUT ‘localhost:9200/customer?pretty‘
 curl ‘localhost:9200/_cat/indices?v‘

  结果如下:

  

  

  上图中红框所表示的是:我们有一个叫customer的索引,它有五个私有的分片以及一个副本,在它里面有0个文档。

  5.插入和获取

  现在我么插入一些数据到集群索引。我们必须给ES指定所以的类型。如下语句:"external" type, ID:1:

  主体为JSON格式的语句: { "name": "John Doe" }

  curl -XPUT ‘localhost:9200/customer/external/1?pretty‘ -d ‘
  {
           "name": "John Doe"
  }‘

  返回结果为:create:true 表示插入成功。

  

  获取GET,语句如下:

   curl -XGET ‘localhost:9200/customer/external/1?pretty‘

  其中含义为:获取customer索引下类型为external,id为1的数据,pretty参数表示返回结果格式美观。

  

  6.删除索引 DELETE

  curl -XDELETE ‘localhost:9200/customer?pretty‘
  curl ‘localhost:9200/_cat/indices?v‘

  

  表示索引删除成功。

  7.通过以上命令语句的学习,我们发现索引的增删改查有一个类似的格式,总结如下:

  curl -X<REST Verb> <Node>:<Port>/<Index>/<Type>/<ID>

  <REST Verb>:REST风格的语法谓词

  <Node>:节点ip

  <port>:节点端口号,默认9200

  <Index>:索引名

  <Type>:索引类型

  <ID>:操作对象的ID号

  8 修改数据

  curl -XPUT ‘localhost:9200/customer/external/1?pretty‘ -d ‘
  {
    "name": "John Doe"
  }‘
  curl -XPUT ‘localhost:9200/customer/external/1?pretty‘ -d ‘
  {
    "name": "Jane Doe"
  }‘

  上述命令语句是:先新增id为1,name为John Doe的数据,然后将id为1的name修改为Jane Doe。

  9.更新数据

  9.1 这个例子展示如何将id为1文档的name字段更新为Jane Doe:

  curl -XPOST ‘localhost:9200/customer/external/1/_update?pretty‘ -d ‘
  {
    "doc": { "name": "Jane Doe" }
  }‘

  9.2 这个例子展示如何将id为1数据的name字段更新为Jane Doe同时增加字段age为20:

  curl -XPOST ‘localhost:9200/customer/external/1/_update?pretty‘ -d ‘
  {
    "doc": { "name": "Jane Doe", "age": 20 }
  }‘

  9.3  也可以通过一些简单的scripts来执行更新。一下语句通过使用script将年龄增加5:

  curl -XPOST ‘localhost:9200/customer/external/1/_update?pretty‘ -d ‘
  {
    "script" : "ctx._source.age += 5"
  }‘

  10 删除数据

  删除数据那是相当的直接. 下面的语句将执行删除Customer中ID为2的数据:

  curl -XDELETE ‘localhost:9200/customer/external/2?pretty‘

  11 批处理

  举例:

  下面语句将在一个批量操作中执行创建索引:

  curl -XPOST ‘localhost:9200/customer/external/_bulk?pretty‘ -d ‘
  {"index":{"_id":"1"}}
  {"name": "John Doe" }
  {"index":{"_id":"2"}}
  {"name": "Jane Doe" }
  ‘

  下面语句批处理执行更新id为1的数据然后执行删除id为2的数据

  curl -XPOST ‘localhost:9200/customer/external/_bulk?pretty‘ -d ‘
  {"update":{"_id":"1"}}
  {"doc": { "name": "John Doe becomes Jane Doe" } }
  {"delete":{"_id":"2"}}
  ‘

  12.导入数据集

  你可以点击这里下载示例数据集:accounts.json

  其中每个数据都是如下格式:

  {
         "index":{"_id":"1"}
  }
  {
      "account_number": 0,
      "balance": 16623,
      "firstname": "Bradshaw",
      "lastname": "Mckenzie",
      "age": 29,
      "gender": "F",
      "address": "244 Columbus Place",
      "employer": "Euron",
      "email": "[email protected]",
      "city": "Hobucken",
      "state": "CO"
  }

  导入示例数据集:

  curl -XPOST ‘localhost:9200/bank/account/_bulk?pretty‘ --data-binary "@accounts.json"
  curl ‘localhost:9200/_cat/indices?v‘

  

  上图红框表示我们已经成功批量导入1000条数据索引到bank索引中。

  13.查询

  Sample:

  curl ‘localhost:9200/bank/_search?q=*&pretty‘
  {
      "took" : 63,
      "timed_out" : false,
      "_shards" : {
      "total" : 5,
      "successful" : 5,
      "failed" : 0
    },
  "hits" : {
    "total" : 1000,
    "max_score" : 1.0,
    "hits" : [ {
      "_index" : "bank",
      "_type" : "account",
      "_id" : "1",
      "_score" : 1.0, "_source" : {"account_number":1,"balance":39225,"firstname":"Amber","lastname":"Duke","age":32,"gender":"M","address":"880 Holmes Lane","employer":"Pyrami","email":"[email protected]","city":"Brogan","state":"IL"}
    }, {
      "_index" : "bank",
      "_type" : "account",
      "_id" : "6",
      "_score" : 1.0, "_source" : {"account_number":6,"balance":5686,"firstname":"Hattie","lastname":"Bond","age":36,"gender":"M","address":"671 Bristol Street","employer":"Netagy","email":"[email protected]","city":"Dante","state":"TN"}
    }, {
      "_index" : "bank",
      "_type" : "account",

  上面示例返回所有bank中的索引数据。其中 q=*  表示匹配索引中所有的数据。

  等价于:

  curl -XPOST ‘localhost:9200/bank/_search?pretty‘ -d ‘
  {
    "query": { "match_all": {} }
  }‘

  14 查询语言

  匹配所有数据,但只返回1个:

  curl -XPOST ‘localhost:9200/bank/_search?pretty‘ -d ‘

  {

  "query": { "match_all": {} },

    "size": 1

  }‘

  注意:如果siez不指定,则默认返回10条数据。

  curl -XPOST ‘localhost:9200/bank/_search?pretty‘ -d ‘

  {

  "query": { "match_all": {} },

    "from": 10,

   "size": 10

  }‘

  返回从11到20的数据。(索引下标从0开始)

  curl -XPOST ‘localhost:9200/bank/_search?pretty‘ -d ‘

  {

   "query": { "match_all": {} },

  "sort": { "balance": { "order": "desc" } }

  }‘

  上述示例匹配所有的索引中的数据,按照balance字段降序排序,并且返回前10条(如果不指定size,默认最多返回10条)。

  15.执行搜索

  下面例子展示如何返回两个字段(account_number balance)

  curl -XPOST ‘localhost:9200/bank/_search?pretty‘ -d ‘

  {

    "query": { "match_all": {} },

   "_source": ["account_number", "balance"]

  }‘

  

  返回account_number 为20 的数据:

  curl -XPOST ‘localhost:9200/bank/_search?pretty‘ -d ‘
  {
    "query": { "match": { "account_number": 20 } }
  }‘

  返回address中包含mill的所有数据::

  curl -XPOST ‘localhost:9200/bank/_search?pretty‘ -d ‘
  {
    "query": { "match": { "address": "mill" } }
  }‘

  返回地址中包含mill或者lane的所有数据:

  curl -XPOST ‘localhost:9200/bank/_search?pretty‘ -d ‘
  {
    "query": { "match": { "address": "mill lane" } }
  }‘

  和上面匹配单个词语不同,下面这个例子是多匹配(match_phrase短语匹配),返回地址中包含短语 “mill lane”的所有数据:

  curl -XPOST ‘localhost:9200/bank/_search?pretty‘ -d ‘
  {
    "query": { "match_phrase": { "address": "mill lane" } }
  }‘

  以下是布尔查询,布尔查询允许我们将多个简单的查询组合成一个更复杂的布尔逻辑查询。

  这个例子将两个查询组合,返回地址中含有mill和lane的所有记录数据:

  curl -XPOST ‘localhost:9200/bank/_search?pretty‘ -d ‘
  {
    "query": {
      "bool": {
        "must": [
          { "match": { "address": "mill" } },
          { "match": { "address": "lane" } }
        ]
      }
    }
  }‘

  上述例子中,must表示所有查询必须都为真才被认为匹配。

  相反, 这个例子组合两个查询,返回地址中含有mill或者lane的所有记录数据:

  curl -XPOST ‘localhost:9200/bank/_search?pretty‘ -d ‘
  {
    "query": {
      "bool": {
        "should": [
          { "match": { "address": "mill" } },
          { "match": { "address": "lane" } }
        ]
      }
    }
  }‘

  上述例子中,bool表示查询列表中只要有任何一个为真则认为匹配。

  下面例子组合两个查询,返回地址中既没有mill也没有lane的所有数据:

  curl -XPOST ‘localhost:9200/bank/_search?pretty‘ -d ‘
  {
    "query": {
      "bool": {
        "must_not": [
          { "match": { "address": "mill" } },
          { "match": { "address": "lane" } }
        ]
      }
    }
  }‘

  上述例子中,must_not表示查询列表中没有为真的(也就是全为假)时则认为匹配。

  我们可以组合must、should、must_not来实现更加复杂的多级逻辑查询。

  下面这个例子返回年龄大于40岁、不居住在ID的所有数据:

  curl -XPOST ‘localhost:9200/bank/_search?pretty‘ -d ‘
  {
    "query": {
      "bool": {
        "must": [
          { "match": { "age": "40" } }
        ],
        "must_not": [
          { "match": { "state": "ID" } }
        ]
      }
    }
  }‘

  16.过滤filter(查询条件设置)

  下面这个例子使用了布尔查询返回balance在20000到30000之间的所有数据。

  curl -XPOST ‘localhost:9200/bank/_search?pretty‘ -d ‘

  {

      "query": {

      "bool": {

      "must": { "match_all": {} },

     "filter": {

    "range": {

  "balance": {

    "gte": 20000,

   "lte": 30000

   }

   }

   }

   }

  }

  }‘

  17 聚合 Aggregations

  下面这个例子: 将所有的数据按照state分组(group),然后按照分组记录数从大到小排序,返回前十条(默认):

  curl -XPOST ‘localhost:9200/bank/_search?pretty‘ -d ‘

  {

  "size": 0,

   "aggs": {

   "group_by_state": {

    "terms": {

      "field": "state"

    }

   }

  }

  }‘

  注意:我们设置size=0,不显示查询hits,因为我们只想看返回的聚合结果。

  

  

  上述语句类似于以下SQL语句:

  SELECT state, COUNT(*) FROM bank GROUP BY state ORDER BY COUNT(*) DESC

  下面这个实例按照state分组,降序排序,返回balance的平均值:

  curl -XPOST ‘localhost:9200/bank/_search?pretty‘ -d ‘

  {

  "size": 0,

  "aggs": {

   "group_by_state": {

    "terms": {

   "field": "state"

   },

    "aggs": {

   "average_balance": {

    "avg": {

     "field": "balance"

   }

   }

   }

  }

  }

  }‘

  

时间: 2024-08-06 07:55:01

ElasticSearch 索引查询使用指南——详细版的相关文章

ELK-ElasticSearch 索引查询使用指南——详细版

1.使用_cat API检测集群是否健康,确保9200端口号可用:curl 'localhost:9200/_cat/health?v' 注意:绿色表示一切正常,黄色表示所有的数据可用但是部分副本还没有分配,红色表示部分数据因为某些原因不可用. 2.获取集群的节点列表curl 'localhost:9200/_cat/nodes?v' 3.查看所有索引curl http://localhost:9200/_cat/indices?v 4.curl用法-X 指定http的请求方法,有HEAD GE

ElasticSearch 索引查询使用指南(开发笔记170203)

检测集群是否健康 curl 'localhost:9200/_cat/health?v' 绿色表示一切正常, 黄色表示所有的数据可用但是部分副本还没有分配,红色表示部分数据因为某些原因不可用. 通过如下语句,我们可以获取集群的节点列表 curl 'localhost:9200/_cat/nodes?v' 列出所有索引 curl 'localhost:9200/_cat/indices?v' 参考:http://m.blog.csdn.net/article/details?id=52452014

ElasticSearch 索引

ElasticSearch 索引 这是ElasticSearch 2.4 版本系列的第三篇: 第一篇:ES1:Windows下安装ElasticSearch 第二篇:ES2:ElasticSearch 集群配置 第三篇:ES3:ElasticSearch 索引 ElasticSearch是文档型数据库,索引(Index)定义了文档的逻辑存储和字段类型,每个索引可以包含多个文档类型,文档类型是文档的集合,文档以索引定义的逻辑存储模型,比如,指定分片和副本的数量,配置刷新频率,分配分析器等,存储在索

基于百度地图SDK和Elasticsearch GEO查询的地理围栏分析系统(1)

本文描述了一个系统,功能是评价和抽象地理围栏(Geo-fencing),以及监控和分析核心地理围栏中业务的表现. 技术栈:Spring-JQuery-百度地图WEB SDK 存储:Hive-Elasticsearch-MySQL-Redis 什么是地理围栏? LBS系统中,地理围栏指的是虚拟边界围成的部分. tips:这只是一个demo,支撑实习生的本科毕设,不代表生产环境,而且数据已经做了脱密处理,为了安全还是隐去了所有数据. 功能描述 1.地理围栏的圈选 (1)热力图 热力图展示的是,北京市

Elasticsearch性能优化实战指南

作者:铭毅天下 背景在当今世界,各行各业每天都有海量数据产生,为了从这些海量数据中获取想要的分析结果,需要对数据进行提取.转换,存储,维护,管理和分析. 这已然远远超出了普通处理工具.数据库等的实现能力,只有基于的分布式架构和并行处理机制的大数据工具所才能实现这些功能.Elasticsearch是响应如前所述大多数用例的最热门的开源数据存储引擎之一.Elasticsearch是一种分布式数据存储和搜索引擎,具有容错和高可用性特点.为了充分利用其搜索功能,需要正确配置Elasticsearch.简

elasticsearch kibana + 分词器安装详细步骤

elasticsearch kibana + 分词器安装详细步骤 一.准备环境 系统:Centos7 JDK安装包:jdk-8u191-linux-x64.tar.gz ES安装包:elasticsearch-7.2.0-linux-x86_64.tar.gz,下载地址 Kibana安装包:kibana-7.2.0-linux-x86_64.tar.gz,下载地址 IK分词器安装包:elasticsearch-analysis-ik-7.2.0.zip,下载地址 目前准备两个节点做节点规划,分别

C++:C++11新特性超详细版(1)

前言: 虽然目前没有编译器能够完全实现C++11,但这并不意味着我们不需要了解,学习它.深入学习C++11,你会发现这根本就是一门新的语言,它解决了c++98中许多遗留下来的问题.早晚会有一天,C++11便会普及大部分编译器.因此,提早做些准备也是应该的. 在此我想做一个关于C++11的专题,将C++11的新特性进行一一讲解,以通俗易懂的语言及例子帮助读者入门C++11.本文便是C++11新特性超详细版系列文章的第一篇, 即C++:[C++11]新特性超详细版(1). 不过我要强调的是,这些文章

mongodb 关系、引用、覆盖索引查询

一.关系 MongoDB 的关系表示多个文档之间在逻辑上的相互联系.文档间可以通过嵌入和引用来建立联系.MongoDB 中的关系可以是:1对1,1对多,多对1,多对多. 一个用户可以用多个地址,这是典型的一对多关系. user文档可以是: { "_id":ObjectId("52ffc33cd85242f436000001"), "name": "Tom Hanks", "contact": "9

Kibana+Logstash+Elasticsearch 日志查询系统

搭建该平台的目的就是为了运维.研发很方便的进行日志的查询.Kibana一个免费的web壳:Logstash集成各种收集日志插件,还是一个比较优秀的正则切割日志工具:Elasticsearch一个开源的搜索引擎框架(支持群集架构方式). 1 安装需求 1.1 理论拓扑 1.2 安装环境 1.2.1 硬件环境 192.168.50.62(HP DL 385 G7 .RAM:12G.CPU:AMD 6128.DISK:SAS 146*4) 192.168.50.98(HP DL 385 G7 .RAM