elasticdump 迁移 elasticsearch 数据

elasticdump 迁移 elasticsearch 数据

elasticdump github地址
https://github.com/taskrabbit/elasticsearch-dump

折腾了一会nodejs耐心尽失,果断使用docker方式。

1、下载docker镜像

拉取镜像

docker pull taskrabbit/elasticsearch-dump

2、导出数据

如果将数据导出为文件形式,需要将宿主机目录挂载至容器上。

# 提前创建数据目录。
mkdir /data

导出数据至json文件中,将宿主机/data目录挂载到容器/tmp目录上,--output指定文件导出至/tmp目录中。


docker run --net=host --rm -ti -v /data:/tmp taskrabbit/elasticsearch-dump    --input=http://localhost:9200/info-ad    --output=/tmp/info-ad-map.json    --type=data

# 导出日志
Wed, 11 Dec 2019 09:45:35 GMT | starting dump
Wed, 11 Dec 2019 09:45:35 GMT | got 16 objects from source elasticsearch (offset: 0)
Wed, 11 Dec 2019 09:45:35 GMT | sent 16 objects to destination file, wrote 16
Wed, 11 Dec 2019 09:45:35 GMT | got 0 objects from source elasticsearch (offset: 16)
Wed, 11 Dec 2019 09:45:35 GMT | Total Writes: 16
Wed, 11 Dec 2019 09:45:35 GMT | dump complete
# 导出文件
[[email protected] /data]# ll
total 20
-rw-r--r--. 1 root root 18192 Dec 11 17:45 info-ad-map.json

3、导入数据


docker run --net=host --rm -ti -v /data:/tmp taskrabbit/elasticsearch-dump    --input=/tmp/info-ad-map.json    --output=http://localhost:9200/abcd

# 导入日志
Wed, 11 Dec 2019 09:47:43 GMT | starting dump
Wed, 11 Dec 2019 09:47:43 GMT | got 16 objects from source file (offset: 0)
Wed, 11 Dec 2019 09:47:44 GMT | sent 16 objects to destination elasticsearch, wrote 16
Wed, 11 Dec 2019 09:47:44 GMT | got 0 objects from source file (offset: 16)
Wed, 11 Dec 2019 09:47:44 GMT | Total Writes: 16
Wed, 11 Dec 2019 09:47:44 GMT | dump complete

ps:在使用localhost:9200时需要使用--net=host将网络挂载到容器上

原文地址:https://blog.51cto.com/13231454/2457815

时间: 2024-11-08 22:36:26

elasticdump 迁移 elasticsearch 数据的相关文章

使用elasticdump迁移数据到新es集群

参考文档 https://blog.csdn.net/u012731379/article/details/79856113 https://blog.csdn.net/u010466329/article/details/79209236 https://blog.csdn.net/laoyang360/article/details/65449407 迁移方法 通过logstash的input和output配置迁移(配置灵活适用于长期数据同步等) 通过迁移工具如elasticdump等(适用

迁移mysql数据到oracle上

转自:http://www.cnblogs.com/Warmsunshine/p/4651283.html 我是生成的文件里面的master.sql里面的sql,一个一个拷出来的. 迁移mysql数据到oracle上 一.   服务器本地安装Oracle11G或10G 二.   在运行中输入sqlplus /nolog,oracle中创建表空间. 三.   安装完成后在运行中输入 sql developer打开sql developer (就是本机自带的) 四.   选择jdk版路径(jdk版本

[转] [Elasticsearch] 数据建模 - 处理关联关系(1)

[Elasticsearch] 数据建模 - 处理关联关系(1) 标签: 建模elasticsearch搜索搜索引擎 2015-08-16 23:55 6958人阅读 评论(0) 收藏 举报 分类: Search(43) Elasticsearch(43) 目录(?)[+] 数据建模(Modeling Your Data) ES是一头不同寻常的野兽,尤其是当你来自SQL的世界时.它拥有很多优势:性能,可扩展性,准实时的搜索,以及对大数据的分析能力.并且,它很容易上手!只需要下载就能够开始使用它了

EF CodeFirs 代码迁移、数据迁移

最近悟出来一个道理,在这儿分享给大家:学历代表你的过去,能力代表你的现在,学习代表你的将来. 十年河东十年河西,莫欺少年穷 学无止境,精益求精    标题叫EF CodeFirs 代码迁移.数据迁移. 那么:到底叫代码迁移还是数据迁移?我在网上看了大半天,怎么叫的都有,后来查了MSDN,MSDN上叫代码迁移.在此,我们也称之为代码迁移. 为什么有人将其称为数据迁移呢?可能是因为本节内容和操作数据库有关<增加一张表,删除一张表,增加一个表字段,删除一个表字段,修改一个表字段等>,所以网友称之为数

Azure SQL Database (22) 迁移部分数据到Azure Stretch Database

<Windows Azure Platform 系列文章目录>  Azure SQL Database (19) Stretch Database 概览      Azure SQL Database (20) 使用SQL Server 2016 Upgrade Advisor      Azure SQL Database (21) 将整张表都迁移到Azure Stretch Database里      Azure SQL Database (22) 迁移部分数据到Azure Stretc

MDT2012部署问题,无法迁移用户数据

测试MDT有一段时间了,也尝试着给公司的电脑使用MDT2012来部署操作系统,其中遇到很多的问题,因此我把遇到问题的解决方法来分享下.   本此博文我来分享下MDT2012的任务序列中遇到的无法选择迁移用户数据选项,其实这个问题不一定所有的人都能遇到,此话怎讲?因为遇到这个问题通常是C盘空间<16GB才会遇到的.   如下图,提示A support previous of Windows was not found on this computer.Data and setting cannot

laravel中的数据迁移和数据填充

laravel中的数据迁移和数据填充 标签(空格分隔): php 生成迁移文件两种方式: 1 新建一个表的迁移文件 php artisan make:migration create_students_table --create=students 2 创建模型的时候同时创建迁移文件 php artisan make:model Model\Article -m 创建迁移文件和执行 1 在 up 方法里完成数据表字段的创建 2 执行命令 php artisan migrate 生成填充文件 ph

Linux Centos 迁移Mysql 数据位置

Linux Centos 迁移Mysql 数据位置 由于业务量增加导致安装在系统盘(20G)磁盘空间被占满了, 现在进行数据库的迁移. Mysql 是通过 yum 安装的. Centos6.5Mysql5.1 yum 安装的 mysql 服务 查看 mysql 的安装路径 执行查询 SQL show variables like '%dir%'; datadir 就是数据路径 转移操作 新建 mysql 数据目录 mkdir /data/mysqlData 停止mysql服务 service m

elasticsearch数据迁移——elasticsearch-dump使用

先安装好nodejs和nodejs的包管理工具npm.然后安装elasticsearch-dump: npm install elasticdump 下面迁移数据: 先在目的地址创建一个index来储存数据: curl -X PUT 'localhost:9200/customer?pretty' 执行迁移命令:--input设置导出的源地址,--output设置导出的目的地址 '#拷贝analyzer如分词 elasticdump --input=http://production.es.co