elk+redis+filebeat

#安装elasticsearch-5.3.1.tar.gz(单节点安装)
tar xf elasticsearch-5.3.1.tar.gz
cd elasticsearch-5.3.1

vim config/elasticsearch.yml #修改配置文件
path.data: /data/elas/data #数据目录
path.logs: /data/elas/logs
network.host: 0.0.0.0 #允许哪个IP访问
http.port: 9200

修改系统参数以确保系统有足够资源启动ES
设置内核参数
vim /etc/sysctl.conf
# 增加以下参数
vm.max_map_count=655360
执行以下命令,确保生效配置生效:
sysctl -p

设置资源参数
vim /etc/security/limits.conf
# 修改
* soft nofile 65536
* hard nofile 131072
* soft nproc 65536
* hard nproc 131072

设置用户资源参数
vim /etc/security/limits.d/20-nproc.conf
elk soft nproc 65536 # 设置elk用户参数

添加启动用户,设置权限
启动ElasticSearch5版本要非root用户,需要新建一个用户来启动ElasticSearch
useradd elk
mkdir -pv /data/elas/{data,logs} # 创建数据和日志目录
chown -R elk:elk /data/elas/ # 修改文件所有者
chown -R elk:elk /usr/local/elasticsearch-5.3.1/
su elk
bin/elasticsearch -d #-d 为保持后台运行
curl localhost:9200 来检查ES是否启动成功

#安装kibana-5.3.1-linux-x86_64.tar.gz
tar xf kibana-5.3.1-linux-x86_64.tar.gz

配置kibana
vi config/kibana.yml
server.port: 5601 #开启默认端口5601
server.host: “192.168.182.100” #站点地址,必须是IP
elasticsearch.url: http://192.168.182.100:9200 #指向>elasticsearch服务的ip地址,必须是IP
kibana.index: “.kibana”
bin/kibana #启动kibana
curl http://192.168.182.100:5601

#redis5.0.2安装
下载:wget http://download.redis.io/redis-stable.tar.gz
yum -y install gcc
tar xf redis-5.0.2.tar.gz
mv redis-5.0.2 /usr/local/redis
cd /usr/local/redis
make
make install

vim redis.conf
bind 127.0.0.1 #表示只可以本机访问,要是远程访问需要注释掉(前面加#号)
protected-mode yes #改为no 可以不用输入密码登陆
port 6379 #修改端口
daemonize no #改为 yes 后台运行

#启动和关闭redis
./src/redis-server ./redis.conf
./src/redis-cli -p 6379 shutdown

#登录
./src/redis-cli -h 127.0.0.1 -p 6379

#开机启动
chmod u+x /etc/rc.d/rc.local
echo "/usr/local/redis/src/redis-server /usr/local/redis/redis.conf" >> /etc/rc.d/rc.local

#问题
#会发现warning警告,WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
net.core.somaxconn= 1024 #sysctl.conf
vm.overcommit_memory=1 #sysctl.conf
protected-mode no #关闭保护模式

#安装filebeat-6.6.1-linux-x86_64.tar.gz
tar xf filebeat-6.6.1-linux-x86_64.tar.gz
vim filebeat.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /usr/local/nginx/logs/*.log
output.redis:
hosts: ["192.168.182.100:6379"]
key: "nginx-log"
db: 0
timeout: 5
./filebeat -e -c ./filebeat.yml #启动

#安装

input {
redis {
data_type => "list"
key => "nginx-log"
host => "192.168.182.100"
port => 6379
}
}
filter {
grok {
match => { "message" => "%{COMBINEDAPACHELOG} %{QS:x_forwarded_for}"}
}
date {
match => [ "timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ]
}
geoip {
source => "clientip"
}
}
output {
elasticsearch {
hosts => "192.168.182.100:9200"
}
stdout { codec => rubydebug }
}

/usr/local/logstash-5.3.1/bin/logstash -f /usr/local/logstash-5.3.1/config/logstash.conf

原文地址:https://www.cnblogs.com/hxqxiaoqi/p/10647241.html

时间: 2024-10-06 23:27:48

elk+redis+filebeat的相关文章

6.3.1版本elk+redis+filebeat收集docker+swarm日志分析

最近公司比较忙,没来的及更新博客,今天为大家更新一篇文章,elk+redis+filebeat,这里呢主要使用与中小型公司的日志收集,如果大型公司 可以参考上面的kafka+zookeeper配合elk收集,好了开始往上怼了: Elk为了防止数据量突然键暴增,吧服务器搞奔溃,这里需要添加一个redis,让数据输入到redis当中,然后在输入到es当中 Redis安装: #!/bin/bash # 6379  Redis-Server tar zxf redis-3.0.0-rc5.tar.gz

linux下利用elk+redis 搭建日志分析平台教程

linux下利用elk+redis 搭建日志分析平台教程 http://www.alliedjeep.com/18084.htm elk 日志分析+redis数据库可以创建一个不错的日志分析平台了,下面我们来看一篇在linux下利用elk+redis 搭建日志分析平台教程,希望例子对各位有帮助. 这个是最新的elk+redis搭建日志分析平台,今年时间是2015年9月11日. Elk分别为 elasticsearch,logstash, kibana 官网为:https://www.elasti

ELK+redis搭建日志分析平台

ELK+redis搭建日志分析平台 1.ELK简介 ELKStack即Elasticsearch + Logstash + Kibana.日志监控和分析在保障业务稳定运行时,起到了很重要的作用.比如对nginx日志的监控分析,nginx是有日志文件的,它的每个请求的状态等都有日志文件进行记录,所以可以通过读取日志文件来分析:redis的list结构正好可以作为队列使用,用来存储logstash传输的日志数据.然后elasticsearch就可以进行分析和查询了. 本文搭建的的是一个分布式的日志收

ELK + Kafka + Filebeat

ELK + Kafka + Filebeat学习 https://blog.csdn.net/qq_21383435/article/details/79463832 https://blog.csdn.net/xiangyuan1988/article/details/78977471 https://www.jianshu.com/p/f149a76ea5b5 https://blog.csdn.net/qq_21383435/article/category/7486820 ELK + K

ELK+Redis日志流程展示

业务流程架构图: 一个基于logstash,redis,elasticSearch,kibana的一套数据收集分析的系统 架构图描述:     日志收集系统:(数据来源)生产者产生的日志记录行为,通过被logstash收集.转发,然后传送给redis做序列话,最后通过ELK处理分析展示. elasticSearch会对数据做存储,索引(基于Lunce),再kibana中建立对elasticSearch的链接,实时的抓取索索引后的数据,这样数据就可以实时的进行展示,通过一些数据组装,查询条件,得到

开源分布式搜索平台ELK+Redis+Syslog-ng实现日志实时搜索

logstash + elasticsearch + Kibana+Redis+Syslog-ng ElasticSearch是一个基于Lucene构建的开源,分布式,RESTful搜索引擎.设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便.支持通过HTTP使用JSON进行数据索引. logstash是一个应用程序日志.事件的传输.处理.管理和搜索的平台.你可以用它来统一对应用程序日志进行收集管理,提供 Web 接口用于查询和统计.其实logstash是可以被别的替换,比如常见

Elk+redis的配置

1.先到网站上下载 https://www.elastic.co/cn/downloads,需要的工具 Elasticsearch,Kibana,Logstash,Filebeat. 先把redis安装好.安装redis略过. 2.主要是每个工具的配置文件: Elasticsearch 直接解压后启动即可:./bin/elasticsearch Kibana:修改配置文件elasticsearch的地址,之后启动,./bin/kibana Filebeat:修改配置文件后,启动为: ./file

Centos7下ELK+Redis日志分析平台的集群环境部署记录

之前的文档介绍了ELK的架构基础知识,下面简单记录下ELK结合Redis搭建日志分析平台的集群环境部署过程,大致的架构如下: + Elasticsearch是一个分布式搜索分析引擎,稳定.可水平扩展.易于管理是它的主要设计初衷 + Logstash是一个灵活的数据收集.加工和传输的管道软件 + Kibana是一个数据可视化平台,可以通过将数据转化为酷炫而强大的图像而实现与数据的交互将三者的收集加工,存储分析和可视转化整合在一起就形成了ELK. 基本流程:1)Logstash-Shipper获取日

Ubuntu 16.04安装Elasticsearch,Logstash和Kibana(ELK)Filebeat

https://www.howtoing.com/how-to-install-elasticsearch-logstash-and-kibana-elk-stack-on-ubuntu-16-04 在本教程中,我们将在安装Elasticsearch ELK在Ubuntu 16.04(即,Elasticsearch 2.3.x版本,Logstash 2.3.x版本,并Kibana 4.5.x).我们也将告诉你如何配置它收集和可视化你的系统的系统日志进行集中... 分类:UbuntuUbuntu