Centos 7安装和配置 ElasticSearch入门小白

实验环境：

操作系统：Centos 7.5

服务器ip:192.168.1.198

运行用户：root

网络环境：Internet

在企业生产环境有很多服务器的时候、很多业务模块的日志的时候运维人员需要每时每刻查看日志，这样的工作量是非常庞大的，这样就没有时间做其它的工作, Elasticsearch是个开源分布式搜索引擎，它的特点有：开源、灵活性、分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等，配置简单，一般都是结合Logstash、kibana使用，现在做运维的都知道有一个ELK，就是Elasticsearch、Logstash、kibana的简写，使用比较广泛、功能强大，简化运维操作步骤，还可以实现有错误日志或者故障自动报警，如果服务器有故障，可以通过告警方式发送个管理员，支持企业微信、企业钉钉、短信等告警方式，大家可以尝试去部署，目前还支持docker部署。

Elasticsearch是用来存储各类日志格式的组件；Logstash是用来收集、处理、分析日志等，并将其存储供以后使用；kibana是一个web可视化界面的日志查询组件，它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志展示出来。这3个组件都是开源的，而且是在Linux平台上面运行的，所以还是需要有点Linux基础才能部署，现在大型的企业一般都是在Linux部署ELK系统，如果没有Linux基础的可以去了解下Linux基础知识或者参考《Linux就该这么学》网站上面的资料比较全面，直接在百度里面输入这本书的名称就能找到官网，此书名的作者是刘遄，此书比较适合企业应用，本文主要介绍在Linux操作系统下面如何安装及部署ElasticSearch组件。

Elasticsearch非常容易上手，Elasticsearch也是一个基于Apache的开源搜索引擎来提供了许多合理的默认缺省值，并对初学者隐藏了复杂的搜索引擎理论。它开箱即用（安装即可使用），只需懂点Linux基础及很少的学习既可在生产环境中使用，Elasticsearch也使用Java开发，并使用Lucene作为其核心架构来实现所有索引和搜索的功能性的组件，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单，比较适合于初学者。

一、运行环境

JDK：1.8.0_171（JAVA_SE）

Elasticsearch-6.3.1 (JDK只能用1.8版本)

Logstash-6.3.1

kibana-6.3.1

二、安装Java、Elasticsearch

1、安装JDK

下载JDK：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html;本环境下载的是64位tar.gz包，将安装包拷贝至安装服务器/usr/local目录

[root@localhost ~]# cd /usr/local/

[root@localhost local]# tar -xzvf jdk-8u171-linux-x64.tar.gz

[root@localhost local]# mv jdk1.8.0_171 java

2、配置JDK环境变量

方法一：

[root@localhost local]# vim /etc/profile

将下面的内容添加至文件末尾（假如服务器需要多个JDK版本，为了ELK不影响其它系统，也可以将环境变量的内容稍后添加到ELK的启动脚本中）

JAVA_HOME=/usr/local/java

JRE_HOME=/usr/local/java/jre

CLASSPATH=.:$JAVA_HOME/lib:/dt.jar:$JAVA_HOME/lib/tools.jar

PATH=$PATH:$JAVA_HOME/bin

[root@localhost local]# source /etc/profile

[root@localhost local]# chmod +x /etc/rc.local

[root@localhost local]# vim /etc/rc.local

source /etc/profile               //添加此行

方法二：

直接吧java.sh放到/etc/profile.d/，重启系统

[root@localhost local]# vim /etc/profile.d/java.sh

export JAVA_HOME=/usr/local/java

export JRE_HOME=${JAVA_HOME}/jre

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH

[root@centos7 ~]# java -version  //查看java版本，测试JDK是否配置成功

java version "1.8.0_171"

Java(TM) SE Runtime Environment (build 1.8.0_171-b11)

Java HotSpot(TM) 64-Bit Server VM (build 25.171-b11, mixed mode)

配置limit相关参数

[root@localhost local]# vim /etc/security/limits.conf

添加以下内容

* soft nofile 65536 * hard nofile 131072 * soft nproc 2048 * hard nproc 4096

ulimit -u 4096

[root@localhost local]vim /etc/security/limits.d/20-nproc.conf

修改如下内容：

* soft nproc 1024 #修改为 * soft nproc 2048  或soft nproc 4096   （根据CPU定，最低是2048）

#vim /etc/sysctl.conf

//添加下面配置： v

m.max_map_count=655360

//并执行命令：

#sysctl -p

编辑elasticsearch配置文件

#vim usr/local/elasticsearch-5.6.0/config/elasticsearch.yml

cluster.name: nmtx-cluster

node.name: node-1

path.data: /usr/local/elk/data

path.logs: /usr/local/elk/logs

network.host: 192.168.3.104

http.port: 9200

创建运行ELK的用户

[root@localhost local]# groupadd elk

[root@localhost local]# useradd -g elk elk

创建ELK运行目录

[root@localhost local]# mkdir -p /usr/local/elk

[root@localhost local]# chown -R elk:elk /usr/local/elk

关闭防火墙：

[root@localhost ~]# iptables -F

以上全部是root用户完成

3、安装ELK

以下由elk用户操作

以elk用户登录服务器

下载ELK安装包：https://www.elastic.co/downloads，并上传到服务器且解压，解压命令：tar -xzvf 包名

配置Elasticsearch

修改如下内容：

保存退出

启动Elasticsearch

查看是否启动成功

用浏览器访问：http://192.168.10.169:9200

Elasticsearch安装完毕

vi /etc/security/limits.conf

//添加如下内容:

* soft nofile 65536

* hard nofile 131072

* soft nproc 2048

* hard nproc 4096

问题三：max number of threads [1024] for user [lish] likely too low, increase to at least [2048]

解决：切换到root用户，进入limits.d目录下修改配置文件。

vi /etc/security/limits.d/90-nproc.conf

//修改如下内容：

* soft nproc 1024 #修改为 * soft nproc 2048

问题四：max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]

解决：切换到root用户修改配置sysctl.conf

vi /etc/sysctl.conf

//添加下面配置：

vm.max_map_count=655360

//并执行命令：

sysctl -p 然后，重新启动elasticsearch，即可启动成功。

4、测试，出现下面说明启动elasticsearch成功。

[root@centos7 local]# curl http://127.0.0.1:9200

{

"name" : "pcncnlr",

"cluster_name" : "elasticsearch",

"cluster_uuid" : "uCqIPKYqT_au90cjmtj1rw",

"version" : {

"number" : "6.3.1",

"build_flavor" : "default",

"build_type" : "tar",

"build_hash" : "eb782d0",

"build_date" : "2018-06-29T21:59:26.107521Z",

"build_snapshot" : false,

"lucene_version" : "7.3.1",

"minimum_wire_compatibility_version" : "5.6.0",

"minimum_index_compatibility_version" : "5.0.0"

},

"tagline" : "You Know, for Search"

}

原文地址：https://www.cnblogs.com/legendjaking/p/10463700.html

时间： 2024-07-29 19:45:27

Centos 7安装和配置 ElasticSearch入门小白的相关文章

Mahout学习之Mahout简介、安装、配置、入门程序测试

一.Mahout简介 查了Mahout的中文意思--驭象的人,再看看Mahout的logo,好吧,想和小黄象happy地玩耍,得顺便陪陪这位驭象人耍耍了... 附logo: (就是他,骑在象头上的那个Mahout) 步入正文啦: Mahout 是一个很强大的数据挖掘工具,是一个分布式机器学习算法的集合,包括:被称为Taste的分布式协同过滤的实现.分类.聚类等.Mahout最大的优点就是基于hadoop实现,把很多以前运行于单机上的算法,转化为了MapReduce模式,这样大大提升了算法可处理的

Centos 7安装与配置nagios监控详细图解（二）

目 录 序言(必备知识) 一.安装规划 1.1系统环境 1.2所需软件包 二.配置安装环境 2.1同步时间 2.2禁用SElinux 2.3 xftp上传软件包 2.4安装邮件服务 三.监控主机安装 3.1安装nagios的运行环境 3.2增加用户 3.3安装nagios 3.4配置权限 3.5安装插件 3.6安装nrpe 四.远程主机安装 4.1配置运行环境 4.2安装nagios-plugin 4.3安装nrpe 4.4启动nrpe 五.监控主机安装PNP 5.1配置开发环境 5.2安装pn

Linux CentOS下安装、配置mysql数据库

如果要在Linux上做j2ee开发,首先得搭建好j2ee的开发环境,包括了jdk.tomcat.eclipse的安装(这个在之前的一篇随笔中已经有详细讲解了Linux学习之CentOS(七)--CentOS下j2ee环境搭建),如果要开发web项目,我们当然可以安装一个myeclipse到Linux系统上去,这个安装方法和安装eclipse完全相同,就没有记录下来了,有了jdk.tomcat.eclipse我们就已经能进行我们的程序开发了,但是如果要做一个项目,哪怕是小的不能再小的项目都离不开数

CentOS 6安装和配置VNC

CentOS 6安装和配置VNC 环境centos6.3 VNC是Linux上的一款非常优秀的远程控制工具软件,通常我们在Windows上面安装vnc客户端软件来远程访问Linux机器(Windows上常用的客户端RealVNC),要远程连接到Linux首先要确保Linux上面已经安装了VNC server,下面以CentOS 6为例来说明: 如果上面的几个rpm包已经存在,说明VNC server已经安装好了,接下来跳转步骤3启动vncserver就可以了,否则执行步骤2 1. 检查是否已经安

CentOS 7 安装 Nginx 配置反向代理

Linux使用Nginx Yum存储库上安装Nginx,适用于Red Hat Enterprise Linux和CentOS系统. 1.添加设置Nginx Yum存储库 在CentOS中首次安装Nginx时,需要添加Nginx软件包,使用以下命名,添加安装 sudo yum install yum-utils 设置Yum存储库,请创建/etc/yum.repos.d/nginx.repo配置文件,配置内容如下 [nginx-stable] name=nginx stable repo baseu

CentOS 7 安装、配置、使用 PostgreSQL 9.5

学习CentOS下安装使用PostgreSQL [安装过程] 1.添加RPM    yum install https://download.postgresql.org/pub/repos/yum/9.5/redhat/rhel-7-x86_64/pgdg-centos95-9.5-2.noarch.rpm2.安装PostgreSQL 9.5 yum install postgresql95-server postgresql95-contrib 3.初始化数据库    /usr/pgsql-

CentOS SSH安装与配置

SSH 为 Secure Shell 的缩写,由 IETF 的网络工作小组(Network Working Group)所制定:SSH 为建立在应用层和传输层基础上的安全协议. 传 统的网络服务程序,如FTP.POP和Telnet其本质上都是不安全的:因为它们在网络上用明文传送数据.用户帐号和用户口令,很容易受到中间人 (man-in-the-middle)攻击方式的攻击.就是存在另一个人或者一台机器冒充真正的服务器接收用户传给服务器的数据,然后再冒充用户把数据 传给真正的服务器. 而 SSH

Centos 7安装与配置nagios监控（一）

目  录 序言(必备知识) 一.安装规划 1.1系统环境 1.2所需软件包 二.配置安装环境 2.1同步时间 2.2禁用SElinux 2.3 xftp上传软件包 2.4安装邮件服务 三.监控主机安装 3.1安装nagios的运行环境 3.2增加用户 3.3安装nagios 3.4配置权限 3.5安装插件 3.6安装nrpe 四.远程主机安装 4.1配置运行环境 4.2安装nagios-plugin 4.3安装nrpe 4.4启动nrpe 五.监控主机安装PNP 5.1配置开发环境 5.2安装p

centos下安装并配置tomcat

1,安装jdk,centos默认安装了java-openjdk的环境,但是不带JDK,运行 yum install java-1.7.0-openjdk java-1.7.0-openjdk-devel 2,下载apache-tomcat-7.0.56.tar.gz: 3.配置tomcat环境并设置为服务,采用jsvc 解压:tar vzvf apache-tomcat-7.0.56.tar.gz 重命名: mv apache-tomcat-7.0.56 /usr/local/apache-to