elasticsearch批量索引数据示例

示例数据文件document.json(index表示在索引中增加或替换现有文档,create表示如果文档不存在则添加文档,delete表示删除文档):

{ "index": { "_index": "addr", "_type": "contact", "_id": 1 }}
{ "name": "Fyodor Dostoevsky", "country": "RU" }
{ "create": { "_index": "addr", "_type": "contact", "_id": 2 }}
{ "name": "Erich Maria Remarque", "country": "DE" }
{ "create": { "_index": "addr", "_type": "contact", "_id": 2 }}
{ "name": "Joseph Heller", country: "US" }
{ "delete": { "_index": "addr", "_type": "contact", "_id": 4 }}
{ "delete": { "_index": "addr", "_type": "contact", "_id": 1 }}

  

  执行语句:

  curl -XPOST ‘localhost:9200/_bulk?pretty‘ --data-binary  @document.json  

  注:可在_bulk端点前直接指定index或index和type,这样可在数据文件中省略这些属性,elasticsearch将使用默认值。

  

  

    

时间: 2024-11-03 13:17:19

elasticsearch批量索引数据示例的相关文章

python elasticsearch 批量写入数据

from elasticsearch import Elasticsearch from elasticsearch import helpers import pymysql import time # 连接ES es = Elasticsearch( ['127.0.0.1'], port=9200 ) # 连接MySQL print("Connect to mysql...") mysql_db = "test" m_conn = pymysql.connec

Spark向Elasticsearch批量导入数据,出现重复的问题定位

看了下es-hadoop插件的源码: 发现ES导入数据重试情况的发生,除了在es.batch.write.retry.policy参数默认开启且es-hadoop插件向ES集群发送不bulk写入请求接受到503响应码会重试3次室外. 本身执行http请求时,也会存在重试(hadoop/rest/NetworkClient.java): public Response execute(Request request) { Response response = null; boolean newN

es批量索引

使用Python操作Elasticsearch数据索引的教程 这篇文章主要介绍了使用Python操作Elasticsearch数据索引的教程,Elasticsearch处理数据索引非常高效,要的朋友可以参考下 Elasticsearch是一个分布式.Restful的搜索及分析服务器,Apache Solr一样,它也是基于Lucence的索引服务器,但我认为Elasticsearch对比Solr的优点在于: 轻量级:安装启动方便,下载文件之后一条命令就可以启动: Schema free:可以向服务

第六篇 elasticsearch express 删除索引数据

express 框架删除elasticsearch索引数据 1.在elasticsearch.js文件下添加 function deleteDocument(id) { return elasticClient.delete({ index: indexName, type: "foods", id: id }); } exports.deleteDocument = deleteDocument; 2.在路由删除数据代码块中添加 elastic.deleteDocument(req.

elasticsearch 索引数据快照备份和恢复

最近线上的ES集群埋点数据量暴涨,机器的内存磁盘空间眼看就要炸了.但这部分数据又是冷数据,现时不需要查询,但又不能直接delete,需保留日后数据分析.由于前期急于上线,业务代码没有合理分配索引按月切割,全年数据丢进单个索引,导致单索引数据暴涨到100G+为解决磁盘空间的瓶颈,针对不常用的分片数据,做快照冷存储.应用场景:三节点的ES集群:192.168.85.39 ,192.168.85.36,192.168.85.33 找一台有磁盘空间的服务器,搭建NFS,用于共享目录挂载.已192.168

elasticsearch java 索引操作

1.添加maven依赖 Xml代码   <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch</artifactId> <version>0.90.0</version> </dependency> 建议使用maven管理项目,因为elasticsearch还有很多依赖包,手工维护很麻烦 2.创建连接elastic

ElasticSearch+Kibana 索引操作( 附源码)

一 前言 ElasticiSearch 简介 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口.Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎.设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便. 因为在工作的项目中有使用到所以写下相关的内容,并附带源码 感兴趣的朋友可以自己玩一玩,整个项目都是在Linux上跑的,所以安装步

干货 | Elasticsearch、Kibana数据导出实战

1.问题引出 以下两个导出问题来自Elastic中文社区. 问题1.kibana怎么导出查询数据? 问题2:elasticsearch数据导出 就像数据库数据导出一样,elasticsearch可以么? 或者找到它磁盘上存放数据的位置,拷贝出来,放到另一个es服务器上或者转成自己要的数据格式? 实际业务实战中,大家或多或少的都会遇到导入.导出问题. 根据数据源的不同,基本可以借助: 1.程序写入 2.数据同步 logstash/flume/cana/es_hadoopl等来实现关系型数据库(如:

Elasticsearch系列---索引管理

概要 Elasticsearch让索引创建变得非常简单,只要索引一条新的数据,索引会自动创建出来,但随着数据量的增加,我们开始有了索引优化和搜索优化的需求之后,就会发现自动创建的索引在某些方面不能非常完美的适应我们的需求,我们开始考虑手动创建适合我们业务需求的索引. 索引的CRUD 为了更好地贴切我们的业务数据需求,我们开始更精细的管理我们的索引. 创建索引 创建索引的语法示例如下: PUT /music { "settings": { "number_of_shards&q