Mongo-Connector 安装及使用文档

# Mongo-Connector 安装及使用文档

------

> * 工具介绍
> * 安装前准备
> * 安装步骤
> * 命令详解
> * 有可能的坑
> * 其他文档

------

###工具介绍
mongo-connector工具创建一个从MongoDB簇到一个或多个目标系统的管道,目标系统包括:Solr,Elasticsearch,或MongoDB簇。
该工具在MongoDB与目标系统间同步数据,并跟踪MongoDB的oplog,保持操作与MongoDB的实时同步。

>项目源码:
https://github.com/mongodb-labs/mongo-connector

elastic2-doc-manager是Elastic2.x版本的文档管理器

------

###安装前准备
1.MongoDB 必须开启副本集
2.确保副本集运行正常

------

###安装步骤
1.pip install mongo-connector
2.pip install elastic2-doc-manager

------

###命令详解

运行如下命令开启同步操作:
>mongo-connector -m 127.0.0.1:27017 -t 127.0.0.1:9200 -d elastic2_doc_manager -n text.XXX

命令详解:
>-m mongodb的地址与端口,端口默认为27017
>-t ES的地址与端口,端口默认为9200
>-d doc manager的名称,2.x版本为: elastic2-doc-manager
>-n text.XXX 表示同步text库中的XXX表 默认表示同步全部库的全部表
>-i filed_name 待同步的字段。默认同步所有字段。

------

###有可能的坑

1. 数据库A中有多个集合(A1, A2, A3),且已开启了副本集(Replica Set),但是集合A1可以同步,集合A2不能同步.
原因:oplog中有A1的操作记录,没有A2的操作记录。
结论:开启副本集(Replica Set)并不能保证一定能同步,oplog中必须包含待同步集合的操作记录,才能通过mongo-connector同步到Elasticsearch集群。

2. mongodb3.x版本加强了安全机制,导致了在只拥有某个库的权限时不能同步数据的问题。
原因:拥有某个库的权限,并不能拥有oplog的读取权限,而mongo-connector需要读取oplog的权限。
结论:同步数据至少需要能够读取oplog的权限,确保当前mongodb用户的权限能够操作oplog,或者直接使用mongodb的管理员权限。

------

###其他文档

1.Mongo与ES同步的5种方式:
>https://www.linkedin.com/pulse/5-way-sync-data-from-mongodb-es-kai-hao

2.mongodb 详细文档:
>https://docs.mongodb.com/manual/tutorial/deploy-replica-set/

时间: 2024-08-01 10:26:57

Mongo-Connector 安装及使用文档的相关文章

英文VS2010安装中文版MSDN文档方法

英文VS2010安装中文版MSDN文档方法 2010-06-01 11:52 by 李永京, 51409 阅读, 50 评论, 收藏, 编辑 在2010年4月12号发布Visual Studio 2010 and .NET 4正式版.5月26日微软发布了Visual Studio 2010 and .NET 4 RTM中文版,我们还是喜欢使用英文版本VS2010,但是想安装中文版MSDN文档学习下新东西. 发现我们使用Help Library Manager指向cn_visual_studio_

pyqt助手中安装PyQt5帮助文档

一.个人安装环境 1.Windows10x64_pro 2.anaconda4.6.9 + python3.7.1(anaconda集成,不需单独安装) 4.PyQt5 二.安装Qt帮助文档 2.1 官方下载链接 https://pypi.org/project/PyQtdoc/#files 个人选择amd64版本 2.2 安装 下载完成后安装,一路Next,不在给出安装截图. 注意:请记住PyQtdoc安装路径,下文需要使用,要是找不到路径就尴尬了! 三.导入Qt助手 3.1 打开Qt助手 因

mongoDB 安装 启动 对文档的增删改操作

把mongodb解压缩完的bin路径加到环境变量 创建a.bat和b.bat文件: a.bat内容: mongod --dbpath F:\MongoData b.bat内容: mongo 127.0.0.1:27017/admin a.bat是启动mongodb服务器,--dbpath用来指定数据的存储路径 b.bat是启动mongo shell(即:js 引擎),admin用来指定哪个数据库 启动a.bat,看到 2014-10-14T22:35:48.734+0800 [initandli

Xcode 安装不了文档,出现 Could not download and install iOS 8. The certificate for this server is invalid...

以下是具体解决办法: 按照这个网址:https://developer.apple.com/library/downloads/docset-index.dvtdownloadableindex 下载完成后双击进行安装,安装完成后在你的系统根目录下:如果要用 Dash 的话,在设置里倒入文档后便可以使用 Dash 了.

Centos6.5-----nagios快速安装编译配置文档-全部虚拟环境

写这个文档的目的,就是为了方便 快捷的部署nagios,涉及到个人喜好的配置,大家自行修改,可以套用. 一.下载并安装所需软件 1,yum install gcc mysql httpd php gd openssl openssl-devel mysql-server vim wget Wget http://prdownloads.sourceforge.net/sourceforge/nagios/nagios-4.0.7.tar.gz Wget http://nagios-plugins

网狐棋牌源码教程 -安装运营帮助文档

v6603游戏数据库文档.doc6603平台图形文件要求6603经验等级与经验值的关系.docv6603游戏数据库字典.docv6603网狐游戏升级.docv6603网狐游戏服务启动配置方法.docv6603网站数据库字典.doc6603棋牌管理系统操作手册.doc6603机器人操作说明.doc库存值的解释.doc大厅搭建填写.doc棋牌_服务器填写.doc地址规则说明.doc网狐6603棋牌游戏产品介绍.doc 为棋牌爱好者免费提供视频教程下载.棋牌打包工具.棋牌架设工具.棋牌帮助文档.棋牌源

OpenCASCADE(一) VS2017+OpenCASCADE+MFC 下载配置安装运行单文档程序画个基本图形

原文作者:aircraft 原文链接:https://www.cnblogs.com/DOMLX/p/12368154.html 一.下载OpenCASCADE 官网下载是: http://www.opencascade.org/getocc/download/loadocc/ 我的百度云已经下载好的是: 链接:https://pan.baidu.com/s/1D-fw8vspKTOZ8GmAGBSVGw 提取码:mzp3 下载后运行完毕就是这样: 二.VS2017 MFC单文档配置OpenCA

Redis的安装部署教程文档

IP:192.168.4.111 环境:CentOS 6.6 Redis版本:redis-3.0 (考虑到Redis3.0在集群和性能提升方面的特性,rc版为正式版的候选版,而且很快就出正式版) 安装目录:/usr/local/redis 用户:root 编译和安装所需的包: # yum install gcc tcl 下载3.0版Redis(当前最新版redis-3.0.0-rc5.tar.gz,请学员们在安装时自行选用最新版) # cd /usr/local/src # wget https

mongo 的 中文社区的 文档还是 挺不错的

英文文档也奉上: http://api.mongodb.com/csharp/2.2/html/T_MongoDB_Bson_Serialization_Attributes_BsonIdAttribute.htm 做的 也是满贴心的