Centos7安装elasticsearch、logstash、kibana、elasticsearch head

环境:Centos7, jdk1.8

安装logstash

1.下载logstash

地址:https://artifacts.elastic.co/downloads/logstash/logstash-7.0.0.tar.gz

2.解压logstash压缩包

tar zxvf logstash-7.0.0.tar.gz

3.config文件夹下创建配置文件

vim logstash-elasticsearch.conf

添加以下内容:

input {
  # For detail config for log4j as input,
  # See: https://www.elastic.co/guide/en/logstash/current/plugins-inputs-log4j.html
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 9000
    codec => json_lines
  }
}
filter {
  #Only matched data are send to output.
}
output {
  # For detail config for elasticsearch as output,
  # See: https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html
  elasticsearch {
    action => "index" #The operation on ES
    hosts => ["localhost:9200"] #ElasticSearch host, can be array.
    index => "demolog" #The index to write data to.
  }
}

4.后台启动logstash

./bin/logstash -f config/logstash-elasticsearch.conf &

安装elasticsearch

1.下载elasticsearch

地址:https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.0.0-linux-x86_64.tar.gz

2.解压elasticsearch压缩包

tar zxvf elasticsearch-7.0.0-linux-x86_64.tar.gz

3.修改elasticsearch.yml

启用以下配置

cluster.name: demo-cluster

node.name: node-1

path.data: /tmp/soft/elasticsearch-7.0.0/data

path.logs: /tmp/soft/elasticsearch-7.0.0/logs

network.host: 0.0.0.0

http.port: 9200

discovery.seed_hosts: ["127.0.0.1"]

cluster.initial_master_nodes: ["node-1"]

gateway.recover_after_nodes: 1

action.destructive_requires_name: true

4.创建组

groupadd elasticsearch

注:elasticsearch为组名

5.创建用户

useradd  elasticsearch -g elasticsearch -p elasticsearch

注:第一个elasticsearch为用户名,第二个elasticsearch为组名,第三个elasticsearch为用户密码

6.目录授权

chown -R elasticsearch:elasticsearch /tmp/soft/elasticsearch-7.0.0

7.修改/etc/security/limits.conf

在文件末尾加入以下配置信息

* soft nofile 65536
* hard nofile 131072
* soft nproc 65536
* hard nproc 131072
* soft memlock unlimited
* hard memlock unlimited

8.修改/etc/sysctl.conf

在文件末尾加入以下配置信息

vm.max_map_count=655360

然后执行sysctl -p

9.添加elasticsearch到systemctl

在/etc/systemd/system下创建elasticsearch.sevice, 添加以下内容

[Unit]
Description=elasticsearch.service
After=network.target

[Service]
LimitCORE=infinity
LimitNOFILE=65536
LimitNPROC=65536
Group=elasticsearch
User=elasticsearch
Environment=JAVA_HOME=/tmp/soft/jdk1.8.0_211
ExecStart=/tmp/soft/elasticsearch-7.0.0/bin/elasticsearch

[Install]
WantedBy=multi-user.target

10.启动elasticsearch

设置开机启动   systemctl enable elasticsearch

启动elasticsearch   systemctl start elasticsearch

查看elasticsearch状态   systemctl status elasticsearch

停止elasticsearch     systemctl stop elasticsearch

11.防火墙设置

查看防火墙状态     firewall-cmd --state

关闭防火墙      systemctl stop firewalld.service

禁止防火墙开机启动     systemctl disable firewalld.service

12.验证是否启动成功

执行curl http://127.0.0.1:9200

返回以下信息表示启动成功

{
  "name" : "node-1",
  "cluster_name" : "demo-cluster",
  "cluster_uuid" : "v9x4jEImQQ6ralBh63jVTg",
  "version" : {
    "number" : "7.0.0",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "b7e28a7",
    "build_date" : "2019-04-05T22:55:32.697037Z",
    "build_snapshot" : false,
    "lucene_version" : "8.0.0",
    "minimum_wire_compatibility_version" : "6.7.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

安装elasticsearch head

1.安装依赖

yum install epel-release

yum install nodejs npm

yum install -y git

2.下载elasticsearch-head

git clone git://github.com/mobz/elasticsearch-head.git

3.安装

进入elasticsearch head目录后执行npm install进行安装

4.配置elasticsearch.yml

在elasticsearch.yml配置文件末尾加入以下配置

http.cors.enabled: true

http.cors.allow-origin: "*"

5.修改elasticsearch-head/Gruntfile.js

connect: {
  server: {
    options: {
      port: 9100,
      base: ‘.‘,
      keepalive: true
    }
  }
}

修改为

connect: {
  server: {
    options: {
      hostname: ‘0.0.0.0‘,
      port: 9100,
      base: ‘.‘,
      keepalive: true
    }
  }
}

6.修改elasticsearch-head/_site/app.js

this.base_uri = this.config.base_uri;

修改为

this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://172.29.22.151:9200";

注:172.29.22.151:9200为elasticsearch的访问地址

7.启动

后台启动   npm run start &

8.连接elasticsearch

在浏览器输入elasticsearch head的访问地址(我的elasticsearch和elasticsearch head安装在同一台服务器):http://172.29.22.151:9100

在打开的界面是中输入elasticsearch的访问地址:http://172.29.22.151:9200 后点击连接即可连接到elasticsearch

安装kibana

1.下载kibana

地址:https://artifacts.elastic.co/downloads/kibana/kibana-7.0.0-linux-x86_64.tar.gz

2.解压kibana压缩包

tar zxvf kibana-7.0.0-linux-x86_64.tar.gz

3.修改config/kibana.yml

启用以下配置:

# 172.29.22.151为本机IP地址

server.host: "172.29.22.151"

# http://172.29.22.151:9200为elasticsearch服务地址

elasticsearch.hosts: ["http://172.29.22.151:9200"]

4.后台启动kibana

./bin/kibana &

原文地址:https://www.cnblogs.com/xuaa/p/10769759.html

时间: 2024-11-05 21:53:05

Centos7安装elasticsearch、logstash、kibana、elasticsearch head的相关文章

CentOS7使用Elasticsearch+ Logstash+kibana快速搭建日志分析平台

CentOS7使用Elasticsearch+ Logstash+kibana快速搭建日志分析平台 介绍: 安装logstash,elasticsearch,kibana三件套,搜索程序一般由索引链及搜索组件组成. 索引链功能的实现需要按照几个独立的步骤依次完成:检索原始内容.根据原始内容来创建对应的文档.对创建的文档进行索引. 搜索组件用于接收用户的查询请求并返回相应结果,一般由用户接口.构建可编程查询语句的方法.查询语句执行引擎及结果展示组件组成. Elasticsearch是个开源分布式搜

安装logstash+kibana+elasticsearch+redis搭建集中式日志分析平台

本文是参考logstash官方文档实践的笔记,搭建环境和所需组件如下: Redhat 5.7 64bit / CentOS 5.x JDK 1.6.0_45 logstash 1.3.2 (内带kibana) elasticsearch 0.90.10 redis 2.8.4 搭建的集中式日志分析平台流程如下: elasticsearch 1.下载elasticsearch. wget https://download.elasticsearch.org/elasticsearch/elasti

ELK日志系统:Elasticsearch+Logstash+Kibana搭建教程

ELK日志系统:Elasticsearch + Logstash + Kibana 搭建教程 安装配置JDK环境 JDK安装(不能安装JRE) JDK下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载包:jdk-8u131-linux-x64.rpm yum localinstall jdk-8u131-linux-x64.rpm mvn 安装 cd /usr/lo

基于ELK5.1(ElasticSearch, Logstash, Kibana)的一次整合测试

前言开源实时日志分析ELK平台(ElasticSearch, Logstash, Kibana组成),能很方便的帮我们收集日志,进行集中化的管理,并且能很方便的进行日志的统计和检索,下面基于ELK的最新版本5.1进行一次整合测试. ElasticSearch1.概述:ElasticSearch是一个高可扩展的开源的全文搜索分析引擎.它允许你快速的存储.搜索和分析大量数据.ElasticSearch通常作为后端程序,为需要复杂查询的应用提供服务.Elasticsearch是一个基于Lucene的开

(高版本)ELK(Elasticsearch + Logstash + Kibana)服务服务搭建

一.ELK是什么鬼? ELK实际上是三个工具的集合,Elasticsearch + Logstash + Kibana,这三个工具组合形成了一套实用.易用的监控架构,很多公司利用它来搭建可视化的海量日志分析平台. 1. ElasticSearch ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口.Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引

Elasticsearch + Logstash + Kibana 搭建教程

# ELK:Elasticsearch + Logstash + Kibana 搭建教程 Shipper:日志收集者.负责监控本地日志文件的变化,及时把日志文件的最新内容收集起来,输出到Redis暂存.Indexer:日志存储者.负责从Redis接收日志,写入到本地文件.Broker:日志Hub,用来连接多个Shipper和多个Indexer.无论是Shipper还是Indexer,Logstash始终只做前面提到的3件事: Shipper从日志文件读取最新的行文本,经过处理(这里我们会改写部分

用ElasticSearch,LogStash,Kibana搭建实时日志收集系统

用ElasticSearch,LogStash,Kibana搭建实时日志收集系统 介绍 这套系统,logstash负责收集处理日志文件内容存储到elasticsearch搜索引擎数据库中.kibana负责查询elasticsearch并在web中展示. logstash收集进程收获日志文件内容后,先输出到redis中缓存,还有一logstash处理进程从redis中读出并转存到elasticsearch中,以解决读快写慢速度不一致问题. 官方在线文档:https://www.elastic.co

Logstash+kibana+ ElasticSearch+redis

这是之前Logstash+kibana+ ElasticSearch+redis 安装时,自己整理的初学者容易看懂的资料,按照以下的步骤也已经完成了安装. 这里有二台服务器: 192.168.148.201 logstash index,redis,ElasticSearch,kibana,JDK 192.168.148.129 logstash agent,JDK 1 系统各部分应用介绍 Logstash:一个完全开源对日志进行收集.分析和存储的工具.他可以做系统的log收集,转载的工具.同时

elasticsearch + logstash + kibana 搭建实时日志收集系统【原创】

实时日志统一收集的好处: 1.快速定位集群中问题机器 2.无需下载整个日志文件(往往比较大,下载耗时多) 3.可以对日志进行统计 a.发现出现次数最多的异常,进行调优处理 b.统计爬虫ip c.统计用户行为,做聚类分析等 基于上面的需求,我采用了 ELK(elasticsearch + logstash + kibana)的方案,安装方法请到他们的官网:https://www.elastic.co/ 上面查询,这里我主要讲讲我遇到的问题. ??????1.LVS 分发UDP请求不成功的问题???

Elasticsearch+Logstash+Kibana配置

Elasticsearch+Logstash+Kibana配置 关于Elasticsearch+Logstash+Kibana的安装有很多文章,这里不复述了,这里仅记录一些比较细节的内容. AWS EC2中安装需要的注意事项 9200,9300,5601端口要记得打开 elasticsearch的地址不要写外部IP,否则会很浪费data,写内部ip elasticsearch { host => "ip-10-160-94-102.ap-northeast-1.compute.intern