确定elk中的数据存储的位置-和增加集群节点

可见由 配置文件path.data决定

[[email protected] etc]# cat /usr/local/elasticsearch/config/elasticsearch.yml  | egrep -v "^$|^#"

path.data: /tmp/elasticsearch/data

path.logs: /tmp/elasticsearch/logs

network.host: 192.168.100.10

network.port: 9200

[[email protected] etc]# du -s /tmp/elasticsearch/data/

4384    /tmp/elasticsearch/data/

[[email protected] etc]# du -s /tmp/elasticsearch/data/

8716    /tmp/elasticsearch/data/

如果是rpm安装的elasticsearch(简称)可以/etc/init.d/elasticsearch  中设置: data 和log的位置

 35 ES_USER="elasticsearch"
 36 ES_GROUP="elasticsearch"
 37 ES_HOME="/usr/share/elasticsearch"
 38 MAX_OPEN_FILES=65535
 39 MAX_MAP_COUNT=262144
 40 LOG_DIR="/data2/elk/elasticsearch/log/elasticsearch"
 41 DATA_DIR="/data2/elk/elasticsearch/data/elasticsearch"
 42 CONF_DIR="/etc/elasticsearch"
 43

配置集群:

没有集群的时候,默认的数据目录结构是:

[[email protected] etc]# ls /tmp/elasticsearch/data/elasticsearch/

nodes

【配置集群的前提 hosts 解析】

master节点和slave节点要互相能够解析

[[email protected] httpd]# ping master

PING www.elk.com (192.168.100.10) 56(84) bytes of data.

64 bytes from www.elk.com (192.168.100.10): icmp_seq=1 ttl=64 time=0.073 ms

^C

--- www.elk.com ping statistics ---

1 packets transmitted, 1 received, 0% packet loss, time 675ms

rtt min/avg/max/mdev = 0.073/0.073/0.073/0.000 ms

[[email protected] httpd]# ping slave

PING slave (192.168.100.13) 56(84) bytes of data.

64 bytes from slave (192.168.100.13): icmp_seq=1 ttl=64 time=1.18 ms

【配置集群】

master节点(节点一) 192.168.100.10上的配置:

# ---------------------------------- Cluster -----------------------------------

cluster.name: elasticsearch-cluster

# ------------------------------------ Node ------------------------------------

node.name: master

# --------------------------------- Discovery ----------------------------------

#

# Elasticsearch nodes will find each other via unicast, by default.

#

# Pass an initial list of hosts to perform discovery when new node is started:

# The default list of hosts is ["127.0.0.1", "[::1]"]

#

# discovery.zen.ping.unicast.hosts: ["host1", "host2"]

discovery.zen.ping.unicast.hosts: ["master", "slave"]

salve节点(节点二) 192.168.100.13上的配置:安装elasticsearch (同上elasticsearch安装)

[[email protected] elasticsearch]# egrep -v "^$|^#" config/elasticsearch.yml

cluster.name: elasticsearch-cluster
node.name: slave
discovery.zen.ping.unicast.hosts: ["master", "slave"]
path.data: /tmp/elasticsearch/data
path.logs: /tmp/elasticsearch/logs
network.host: 0.0.0.0
network.port: 9200

slave启动elasticsearch

[[email protected] elasticsearch]# sudo su - elasticsearch /usr/local/elasticsearch/bin/elasticsearch

【验证】

访问插件查看集群状态

http://192.168.100.10:9200/_plugin/head/

或者使用:

API检查

[[email protected] etc]# curl 192.168.100.10:9200/_cluster/health?pretty
{
  "cluster_name" : "elasticsearch",
  "status" : "yellow",
  "timed_out" : false,
  "number_of_nodes" : 1,
  "number_of_data_nodes" : 1,
  "active_primary_shards" : 26,
  "active_shards" : 26,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 26,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 50.0
}

状态意义

green所有主分片和从分片都可用

yellow所有主分片可用,但存在不可用的从分片

red存在不可用的主要分片

在接下来的章节,我们将学习一下什么是主要分片(primary shard) 和 从分片(replica shard),并说明这些状态在实际环境中的意义。

【为黄不为绿色的原因】

我主节点配置文件修改后,木有重启,重启后即正常

【结果】

之后数据的存储路径会变成 elasticsearch-cluster 目录下面

/tmp/elasticsearch/data/elasticsearch-cluster

当然之前一个节点的数据当然是没有了,所以重新打开kibana会要新创建索引

数据目录中也只能看到今天的索引了

[[email protected] tls]# ls /tmp/elasticsearch/data/elasticsearch-cluster/nodes/0/indices/

.kibana/             logstash-2016.05.15/

【看数据增加】

为了给它加点数据

[[email protected] httpd]# for i in {1..100000}; do echo "mesaage $i" >> /var/log/messages ;done

看结果:

时间: 2024-08-25 17:00:55

确定elk中的数据存储的位置-和增加集群节点的相关文章

SolrCloud中索引数据存储于HDFS

SolrCloud中索引数据存储于HDFS 本人最近使用SolrCloud存储索引日志条件,便于快速索引,因为我的索引条件较多,每天日志记录较大,索引想到将日志存入到HDFS中,下面就说说怎么讲solr的索引条件数据存储到HDFS中. 一.准备工作 Solr环境或SolrCloud集群,如果不会安装可以看一下Solr5.5.4单机部署或者SolrCloud集群部署 HDFS分布式系统环境,如果不会安装的可以看一下Hadoop2.5.0安装部署 本人就以Solr5.5.4+Tomcat8.5.6单

Android中的数据存储

Android中的数据存储主要分为三种基本方法: 1.利用shared preferences存储一些轻量级的键值对数据. 2.传统文件系统. 3.利用SQLite的数据库管理系统. 对SharedPreferences对象和SQLite数据库,它们的数据仅对创建它们的应用是可访问的. (比如,MODE_WORLD_READABLE 和 MODE_WORLD_WRITEABLE现在(since API 17)已经被标记为deprecated). 换句话说,它们不是共享的,如果需要在不同的应用之间

定时从一个数据库表中的数据存储到另外一个数据库中的表,而且怎么处理重复的数据?

原文:http://www.iteye.com/problems/77856 定时从一个数据库表中的数据存储到另外一个数据库中的表,而且怎么处理重复的数据? 表结构肯定是不能破坏,但是临时表如果是自己的数据库还行,问题是这个Oracle数据库是客户的数据库呢,你不能在他的数据库做任何多余的操作吧?还有别的更好的方法吗? 这个真的是比较困难. 首先,你要从客户机oracle取数据,因为这1分钟间隔之内不知道用户机新增加了哪些数据(大部分情况下是用户使用别的系统插入数据,而你又没有这个系统的程序接口

67.Android中的数据存储总结

转载:http://mp.weixin.qq.com/s?__biz=MzIzMjE1Njg4Mw==&mid=2650117688&idx=1&sn=d6c73f9f04d02ede7a741b45e801d74e#rd 本篇文章会帮助大家快速了解Android中各种数据存储机制的应用场景以及基本使用方法,力求在头脑中建立一个“目录”.有了这个目录,具体使用细节在实际应用时再查询文档即可得到. 0. 概述 Android为我们提供了以下存储机制: Shared Preferenc

Java基础知识强化之IO流笔记45:IO流练习之 把集合中的数据存储到文本文件案例

1. 把集合中的数据存储到文本文件案例:    需求:把ArrayList集合中的字符串数据存储到文本文件 ? (1)分析:通过题目的意思我们可以知道如下的一些内容,ArrayList集合里存储的是字符串.遍历ArrayList集合,把数据获取到.然后存储到文本文件中.文本文件说明使用字符流. (2) 数据源: ArrayList<String> -- 遍历得到每一个字符串数据 目的地: a.txt -- FileWriter -- BufferedWriter 2. 代码示例: 1 pack

Http Get 从服务器中获取数据 存储到本地

package com.http.get; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.net.HttpURLConnection; import java.net.MalformedURLException; import java.net.URL; import org.apache.http.message.BasicNameValu

UI进阶--iOS中的数据存储常用方式

iOS中的数据存储常用方式: 1.xml属性列表(plist): 2.preference偏好设置; 3.NSKeyedArchiver归档(需要遵守NSCodeing协议); 4.SQLite 3; 5.Core Data; ...... 应用沙盒: 每个iOS应用都有?己的应?沙盒(应用沙盒就是文件系统目录),与其他文件系统隔离.应?必须待在?己的沙盒里,其他应用不能访问该沙盒(提示:在IOS8中已经开放访问) 应?沙盒的文件系统?录,如下图所示(假设应用的名称叫Layer) 模拟器应?用沙

架构设计:系统存储(18)——Redis集群方案:高性能

1.概述 通过上一篇文章(<架构设计:系统存储(17)--Redis集群方案:高可用>)的内容,Redis主从复制的基本功能和进行Redis高可用集群监控的Sentinel基本功能基本呈现给了读者.虽然本人并不清楚上一篇根据笔者实际工作经验所撰写的文章有什么重大问题,导致那么多朋友集体点踩而且截止目前又没有任何人愿意为笔者指出这些问题,但是这不会影响笔者继续学习.总结技术知识的热情.从这篇文章开始我们一起来讨论Redis中两种高性能集群方案,并且在讨论过程中将上一篇文章介绍的高可用集群方案结合

大数据系列(3)——Hadoop集群完全分布式坏境搭建

前言 上一篇我们讲解了Hadoop单节点的安装,并且已经通过VMware安装了一台CentOS 6.8的Linux系统,咱们本篇的目标就是要配置一个真正的完全分布式的Hadoop集群,闲言少叙,进入本篇的正题. 技术准备 VMware虚拟机.CentOS 6.8 64 bit 安装流程 我们先来回顾上一篇我们完成的单节点的Hadoop环境配置,已经配置了一个CentOS 6.8 并且完成了java运行环境的搭建,Hosts文件的配置.计算机名等诸多细节. 其实完成这一步之后我们就已经完成了Had