前提条件:
mongo集群必须是副本集,因为同步插件读取的是日志文件
1.需要安装pip插件(如果已经安装不需再安装)
yum install python-setuptools && easy_install pip
2.在mongo端 安装 mongo-connector。
pip install mongo-connector
3.安装 elastic2-doc-manager(注意这个是针对es2.x版本的,如果es安装的是1.x版本,用elastic-doc-manager)
pip install elastic-doc-manager
插件网址:https://github.com/mongodb-labs
4.启动同步插件
- 不使用配置文件
- mongo-connector -m mongo的ip:27017 -t elasticsearch的IP:9200 -d elastic2_doc_manager
- 可以在命令行里面加入
- --auto-commit-interval=0此命令保证实时同步数据,0代表无延迟
- --continue-on-error 当数据中有错误会跳过
2.使用配置文件
{ "__comment__": "Configuration options starting with ‘__‘ are disabled", "__comment__": "To enable them, remove the preceding ‘__‘", "mainAddress": "192.168.106.220:27017", "logging": { "__type": "syslog", "authentication": { "__comment__": "For more information about SSL with MongoDB, please see http://docs.mongodb.org/manual/tutorial/configure-ssl-clients/", "__fields": ["field1", "field2", "field3"], "__namespaces": { "docManagers": [ |
启动命令:mongo-connector -c /etc/mongo-connector-conf.json & (json的目录自定义)
注意:写入mongo的速度比同步速度快,经过测试elasticsearch配置良好的情况下同步速度大概在1000条/s左右
插件安装的目录在:/usr/lib/python2.7/site-packages下面
elasticsearch、mongo-connector(如果想修改源码可以进入此目录)