日志分析 第三章 安装前准备及系统初始化

服务器版本及硬件配置

操作系统 CentOS release 6.5 (Final)
内核版本 2.6.32-431.el6.x86_64
CPU　 Intel(R) Xeon(R) CPU E5-2690 v3 @ 2.60GHz
内存 16G
网卡 eth0 外网卡 eth1 内网卡

软件版本信息

软件 版本号
filebeat 1.2.3
logstash 2.3.4
elasticsearch 2.3.5
grafana 3.1.1

主机规划

IP 安装软件 功能
10.80.2.xxx filebeat 安装在后端服务器上，收集日志数据
10.80.2.181 logstash 安装在服务端，对日志数据分析处理

10.80.2.83

10.80.2.84

 elasticsearch 两台es集群
10.80.2.156 grafana，nginx，mysql Grafana，nginx，mysql

关闭selinux及iptables

1 # sed -i "[email protected][email protected][email protected]" /etc/selinux/config
2 # setenforce 0
3 # /etc/init.d/iptables stop
4 # chkconfig --del iptables
5 # chkconfig iptables off

设置文件描述符个数

 1 # echo "fs.file-max = 65536" >> /etc/sysctl.conf
 2 # sysctl –p
 3 # cat << EOF >> /etc/security/limits.conf
 4 *          soft     nproc          65535
 5 *          hard     nproc          65535
 6 *          soft     nofile         65535
 7 *          hard     nofile         65535
 8 EOF
 9
10 # cat << EOF >> /etc/security/90-nproc.conf
11 *          soft     nproc          65535
12 *          hard     nproc          65535
13 *          soft     nofile         65535
14 *          hard     nofile         65535
15 EOF

定时任务同步时间

1 */30 * * * * /usr/sbin/ntpdate 10.80.2.248 > /dev/null
时间： 2024-07-29 14:18:23

日志分析 第三章 安装前准备及系统初始化的相关文章

日志分析 第六章 安装elasticsearch

在这里,以两台es集群为例. es集群健康状况有三种状态,这里我们搭建的es集群,只要两台不同时挂掉,数据不会丢失. green 所有主要分片和复制分片都可用 yellow 所有主要分片可用,但不是所有复制分片都可用 red 不是所有的主要分片都可用 举个例子: 比如说现在集群节点es1位主节点,es2位复制分片节点,默认情况下,两台es都接收logstash传过来的日志,是负载均衡的. 如果es1宕掉,es2会被提升为主节点,只有es2接收logstash传来得日志数据,同时整个集群状态由gr

日志分析 第五章 安装logstash

logstash是java应用,依赖JDK,首先需要安装JDK,在安装jdk过程中,logstash-2.3.4使用JDK-1.7版本有bug,使用JDK-1.8版本正常,因此我们安装JDK-1.8版本. 安装JDK 官网地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html # rpm -ivh jdk-8u101-linux-x64.rpm # echo "export JA

日志分析 第七章 安装grafana

grafana依赖mysql存储数据,首先需要安装mysql 安装mysql 解压 # groupadd mysql # useradd -s /sbin/nologin -g mysql mysql # tar xf mysql-5.6.14.tar.gz -C /usr/local/src/ 编译参数 # cmake -DCMAKE_INSTALL_PREFIX=/usr/local/app/mysql-5.6.14 -DMYSQL_DATADIR=/data/mysql -DMYSQL_U

Linux内核分析——第三章 进程管理

第三章 进程管理 3.1 进程 1.进程就是处于执行期的程序:进程就是正在执行的程序代码的实时结果:进程是处于执行期的程序以及相关的资源的总称:进程包括代码段和其他资源. 线程:是在进程中活动的对象. 2.执行线程,简称线程,是在进程中活动的对象.每个线程都拥有一个独立的程序计数器.进程栈和一组进程寄存器. 3.内核调度的对象是线程,而不是进程.Linux对线程并不特别区分,视其为特殊的进程 4.在现代操作系统中,进程提供两种虚拟机制:虚拟处理器和虚拟内存.在线程之间可以共享虚拟内存,但每个都拥

第三章 安装目录介绍

IntelliJ IDEA 的安装目录并不复杂,上图为最常改动的 bin 目录,经常会改动的文件或是必须介绍就是如图蓝色框中的几个. idea.exe 文件是 IntelliJ IDEA 32 位的可行执行文件,IntelliJ IDEA 安装完默认发送到桌面的也就是这个执行文件的快捷方式. idea.exe.vmoptions 文件是 IntelliJ IDEA 32 位的可执行文件的 VM 配置文件,具体配置修改会下面进行专门讲解. idea64.exe 文件是 IntelliJ IDEA

Linux内核分析——第三章 进程调度

第四章 进程调度 4.1 多任务 1.多任务操作系统就是能同时并发的交互执行多个进程的操作系统. 2.多任务操作系统使多个进程处于堵塞或者睡眠状态,实际不被投入执行,这些任务尽管位于内存,但是并不处于可运行状态. 3.多任务系统分类: (1)非抢占式多任务 (2)抢占式多任务 4.Linux提供了抢占式的多任务模式.在此模式下,由调度程序来决定什么时候停止一个进程的运行,以便其他进程能够得到执行机会.这个强制的挂起动作叫做抢占.进程被抢占之前能够运行的时间是预先设置好的,叫进程的时间片.时间片实

第三章：模块加载系统（requirejs）

任何一门语言在大规模应用阶段,必然要经历拆分模块的过程.便于维护与团队协作,与java走的最近的dojo率先引入加载器,早期的加载器都是同步的,使用document.write与同步Ajax请求实现.后来dojo开始以JSONP的方法设计它的每个模块结构.以script节点为主体加载它的模块.这个就是目前主流的加载器方式. 不得不提的是,dojo的加载器与AMD规范的发明者都是james Burke,dojo加载器独立出来就是著名的require.本章将深入的理解加载器的原理. 1.AMD规范

Linux内核分析 笔记三 构造一个简单的Linux系统MenuOS ——by王玥

一.知识点总结 (一)Linux源代码简介 arch/x86目录下的代码是我们重点关注的 内核启动相关代码都在init目录下 start_kernel函数相当于普通C程序的main函数 linux的核心代码都在kernel目录中 arch/ 支持不同cpu的源代码 Documentations/ 文档存储 init/ 内核启动相关代码 kenerl/ 进程调度相关代码 ipc/ 进程间通信 lib/ 公共库文件 mm/ 内存管理相关的代码 (二)构造一个简单的Linux系统 启动MenuOS系统

组建自己的Linux-03安装grub，提供系统初始化配置

1.安装grub 基本的命令移植完成了接下来就是安装grub,使用grub-install安装即可. --root-directory:安装的时候会在此目录下创建boot/grub/目录,并生产安装文件.内核位置是单独的分区且挂载在/mnt/boot/下,所以--root-directory=/mnt/时安装过程就会生产/mnt/boot/grub目录. /dev/sdb:指定在/dev/sdb的MBR区域安装. 刚开始的时候/mnt/boot/下没有文件,/dev/sdb的MBR也没有数据,安