Elasticsearch介绍及安装部署

本节内容:

  • Elasticsearch介绍
  • Elasticsearch集群安装部署
  • Elasticsearch优化
  • 安装插件:中文分词器ik

一、Elasticsearch介绍

Elasticsearch是一个分布式搜索服务,提供Restful API,底层基于Lucene,采用多shard的方式保证数据安全,并且提供自动resharding的功能,加之github等大型的站点也采用 Elasticsearch作为其搜索服务。

二、Elasticsearch集群安装部署

1. 环境信息

主机名 操作系统版本 IP地址 安装软件
log1  CentOS 7.0 114.55.29.86 JDK1.7、elasticsearch-2.2.3
log2 CentOS 7.0 114.55.29.241 JDK1.7、elasticsearch-2.2.3
log3 CentOS 7.0 114.55.253.15 JDK1.7、elasticsearch-2.2.3

2. 安装JDK1.8

版本是Elasticsearch 2.2.3,官方建议jdk是1.8。

3台机器都需要安装jdk1.8,添加新用户es。

[[email protected] local]# mkdir /usr/java
[[email protected] local]# tar zxf jdk-8u73-linux-x64.gz -C /usr/java/

安装JDK8

3. 添加用户

Elasticsearch不能使用root用户去启动。

[[email protected] local]# groupadd -g 510 es
[[email protected] local]# useradd -g 510 -u 510 es
[[email protected] local]# echo "wisedu123" | passwd --stdin es &> /dev/null

添加Elasticsearch运行用户

用新创建的用户登录shell,配置PATH环境变量。

[[email protected] ~]$ vim ~/.bashrc
export JAVA_HOME=/usr/java/jdk1.8.0_73
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
[[email protected] ~]$ source ~/.bashrc

配置环境变量

# mkdir /usr/local/elasticsearch
# chown -R es.es elasticsearch

创建安装elasticsearch的目录

4. 下载安装elasticsearch

es用户登录shell,下载安装elasticsearch。

[[email protected] ~]$ cd /usr/local/elasticsearch/
[[email protected] elasticsearch]$ wget https://download.elasticsearch.org/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.2.3/elasticsearch-2.2.3.tar.gz
[[email protected] elasticsearch]$ tar zxf elasticsearch-2.2.3.tar.gz
[[email protected] elasticsearch]$ mv elasticsearch-2.2.1/* ./
[[email protected] elasticsearch]$ rm -rf elasticsearch-2.2.1
[[email protected] elasticsearch]$ rm -f elasticsearch-2.2.1.tar.gz

下载安装elasticsearch

5. 配置elasticsearch

(1)配置elasticsearch 堆内存,编辑bin/elasticsearch.in.sh

[[email protected] elasticsearch]$ vim bin/elasticsearch.in.sh

将参数:ES_MIN_MEM、ES_MAX_MEM设置为当前物理机内存的一半(注意单位,并保证两个值相等)

(2)配置Elasticsearch集群名称以及节点名称、是否为主节点、path data等信息

[[email protected] elasticsearch]$ vim config/elasticsearch.yml

(3)配置保护Elasticsearch使用的内存防止其被swapped

在memory section下,启用配置:bootstrap.mlockall: true

(4)配置network host

【注意】:另外,请在Network段在多加两个配置,内容如下:

network.bind_host: 114.55.29.86
# Set the address other nodes will use to communicate with this node. If not
# set, it is automatically derived. It must point to an actual IP address.
network.publish_host: 114.55.29.86

如果不加上如上的配置,程序在连接时会报错:

^A[2016-03-28 16:18:08.791] [ERROR] [godseye] [godseye] [RMI TCP Connection(2)-127.0.0.1] [com.wisedu.godseye.search.util.SearchUtil] [buildIndex:70] NoNodeAvailableException[None of the configured nodes are available: [{#transport#-1}{114.55.29.86}{114.55.29.86:9300}]]

(5)配置Elasticsearch的自动发现机制

另外两台也是做如上的安装配置。只不过在配置中需要修改下面几处。

三、Elasticsearch优化

1. 检验配置中的bootstrap.mlockall: true是否生效

启动Elasticsearch:

时间: 2024-11-14 05:29:22

Elasticsearch介绍及安装部署的相关文章

Kafka介绍及安装部署

本节内容: 消息中间件 消息中间件特点 消息中间件的传递模型 Kafka介绍 安装部署Kafka集群 安装Yahoo kafka manager kafka-manager添加kafka cluster 一.消息中间件 消息中间件是在消息的传输过程中保存消息的容器.消息中间件在将消息从消息生产者到消费者时充当中间人的作用.队列的主要目的是提供路由并保证消息的传送:如果发送消息时接收者不可用,消息对列会保留消息,直到可以成功地传递它为止,当然,消息队列保存消息也是有期限的. 二.消息中间件特点 1

Storm介绍及安装部署

本节内容: Apache Storm是什么 Apache Storm核心概念 Storm原理架构 Storm集群安装部署 启动storm ui.Nimbus和Supervisor 一.Apache Storm是什么 Apache Storm是自由开源的分布式实时计算系统,擅长处理海量数据,适用于数据实时处理而非批处理. 批处理使用的大多是鼎鼎大名的hadoop或者hive,作为一个批处理系统,hadoop以其吞吐量大.自动容错等优点,在海量数据处理上得到了广泛的使用.但是,hadoop不擅长实时

Zabbix介绍及安装部署

.    zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案,zabbix能监视各种网络参数,保证服务器系统的安全运营:并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题. zabbix由2部分构成,zabbix server与可选组件zabbix agent zabbix server可以通过SNMP,zabbix agent,ping,端口监视等方法提供对远程服务器/网络状态的监视,数据收集等功能,它可以运行在Linux, Solaris,

hue框架介绍和安装部署

大家好,我是来自内蒙古的小哥,我现在在北京学习大数据,我想把学到的东西分享给大家,想和大家一起学习 hue框架介绍和安装部署 hue全称:HUE=Hadoop User Experience 他是cloudera公司提供的一个web框架,和其他大数据框架整合,提供可视化界面 hue的架构 1.hue UI:hue提供一个可视化的web界面 2.hue server:hue的服务器,对外提供一个web的访问 3.hue db:存储整合框架的信息 1.Hue的介绍 HUE=Hadoop User E

keepalived的介绍和安装部署

keepalived的介绍 作用 keepalived主要针对LVS群聚应用而设计的,提供故障切换和健康检查功能.在非LVS群集环境中,也可用来实现多机热备功能. 故障切换:ha fallover功能,实现LB Master和Backup主机之间故障转移和自动切换 这是针对有两个负载均衡器Director同时工作而采取的故障转移措施.当主负载均衡器(MASTER)失效或出现故障时候,备份负载均衡器(BACKUP)将自动接管主负载均衡器的所有工作:一旦主负载均衡器故障修复,主负载均衡器又会接管回它

ElasticSearch集群安装部署

0 集群搭建 1.安装unzip yum install unzip2.所有集群节点创建新用户 useradd el3.所有集群节点给el用户设置密码passwd el方便记忆使用的rootroot4.所有集群节点创建安装目录和赋予使用权限-->并转换用户 mkdir -p /opt/es ll /opt/ chown el:el /opt/es ll /opt/ su el 5.上传安装部署包到master6.解压到刚刚创建的目录unzip elasticsearch-2.2.1.zip -d

SharePoint Online 开发篇:node.js和npm介绍和安装部署

Blog链接:https://blog.51cto.com/13969817 过去的几年中,出现的最重要的开发平台是Node.js和基于npm的开发,SharePoint Framework是这种开发方法的一个示例,本文我们来了解下Node.js.npm和Node Package Manager 是什么? Node.js,是一个建立在Google Chrome JavaScript的引擎(V8引擎)上的服务器端平台.JavaScript引擎的性能已经提高了很多,取决于你在做什么,事实上,它们的性

3_HA介绍和安装部署

一.hadoop 2.x产生背景 1.hadoop 1.x中hdfs和mr在高可用和扩展性等方面存在问题.2.hdfs存在的问题:NN单点故障,难以应用于在线场景:NN压力过大,内存受限,影响系统扩展性.3.mr存在的问题:1.x难以支持除mr之外的计算框架,如spark和storm(mr一般得到结果时间较长,storm和spark可以很快得到结果). 二.hadoop 1.x与hadoop2.x区别 1.2.x由hdfs.mr和yarn三个分支构成,yarn是分布式的资源管理器(资源包括内存,

hadoop(1)_HDFS介绍及安装部署

一.hadoop简介 1.hadoop的初衷是为了解决Nutch的海量数据爬取和存储的需要,HDFS来源于google的GFS,MapReduce来源于Google的MapReduce,HBase来源于Google的BigTable.hadoop后被引入Apache基金会. 2.hadoop两大核心设计是HDFS和MapReduce,HDFS是分布式存储系统,提供高可靠性.高扩展性.高吞吐率的数据存储服务;MapReduce是分布式计算框架,具有易于编程.高容错性和高扩展性等优点. 3.hado