构建企业日志实时查看系统log.io

软件介绍:

log.io 是一个实时日志监控工具,采用 node.js + socket.io 开发,使用浏览器访问,每秒可以处理超过5000条日志变动消息。有一点要指出来的是 log.io 只监视日志变动并不存储日志,和其他的监控工具一样,log.io 也采用服务器-客户端的模式。log.io 由两部分组成:server 和 harvester, server 运行在机器 A(服务器)上监视和纪录其他机器发来的日志消息;log harvester 运行在机器 B(客户端)上用来监听和收集机器 B 上的日志改动,并将改动发送给机器 A,每个需要纪录日志的机器都需要一个 harvester.

下面我们就来安装配置吧。



在A和B两台机器上同时安装(第一步到第四步)

一、安装依赖包

yum install gcc gcc-c++ openssl-devel  pkgconfig -y

二、下载 node.js 源代码,编译并安装:

wget http://nodejs.org/dist/v0.8.14/node-v0.8.14.tar.gz
tar xf node-v0.8.14/
./configure
make
make install

三、安装NPM

wget https://npmjs.org/install.sh && sh install.shsi

四、安装 log.io(包含了 log server 和 log harvester)

npm config set unsafe-perm true
npm install -g --prefix=/usr/local log.io

注意:第二步安装的时候安装时间较长(基于网络下载软件包),请耐心等待!!

五、在服务端(A节点)上启动server

cd node-v0.8.14
log.io-server start

六、在客户端(B节点)配置

vim /root/.log.io/harvester.conf
exports.config = {
  nodeName: "nodeB",          ####修改节点名称(自定义)
  logStreams: {
    nginx_access: [                  ####日志服务的名称(自定义)
      "/var/log/nginx/access.log",  ###日记存储路径
    ],
    nginx_error: [                  ####日志服务的名称(自定义)
       "/var/log/nginx/error.log"     ###日记存储路径
    ]
  },
  server: {
    host: ‘10.10.0.2‘,      ####log.io Server端的IP
    port: 28777              ####log.io Server端的端口(默认端口)
  }
}

七、在客户端(B节点)启动服务

cd node-v0.8.14
log.io-harvester start

八、通过游览器实时查看日记信息

时间: 2024-08-04 20:34:57

构建企业日志实时查看系统log.io的相关文章

日志流汇集工具Log.io安装过程

官方文档:https://github.com/NarrativeScience/Log.io 需要使用root用户安装1.安装node.jsnode.js安装包获取,请搜索. tar zxvf node-v0.12.7.tar.gz cd node-v0.12.7 ./configure make && make install 2.安装npmwget --no-check-certificate https://npmjs.org/install.sh && sh in

iostat查看系统的IO负载情况

1.安装iostat工具: [[email protected] ~]# yum -y install sysstat 2.通过命令查看IO情况: %idle如果小于%70的话,说明磁盘的IO负载压力已经很大了.一般读取速度有较多的wait %util: 工作时间或者繁忙时间占总时间的百分比 ,也可理解为磁盘的使用率 avgqu-sz这个输出反应的,该值越大,表示排队等待处理的io越多. 原文地址:https://www.cnblogs.com/byfboke/p/9687525.html

mysql日志的查看与开启

mysql的日志类型: 错误日志: log-error 查询日志: log 慢查询日志: log-slow-queries 更新日志: log-update 二进制日志: log-bin 开启错误日志 log-error=/usr/local/mysql/log/log-error.log 开始查询日志 log=/usr/local/mysql/log/log-query.log 开启慢查询日志 log-slow-queries=/usr/local/mysql/log/log-slow-que

关于Server2008 R2日志的查看

Server 2008 r2通过 系统事件查看器 分析日志: 查看 系统 事件: 事件ID号: 审计目录服务访问 4934 - Active Directory 对象的属性被复制 4935 -复制失败开始 4936 -复制失败结束 5136 -目录服务对象已修改 5137 -目录服务对象已创建 5138 -目录服务对象已删除 5139 -目录服务对象已经移动 5141 -目录服务对象已删除 4932 -命名上下文的AD的副本同步已经开始 4933 -命名上下文的AD的副本同步已经结束 审计登录事

ubuntu查看系统负载和程序运行状况

1,没有图形化界面 纯文字:top 美化的文字界面:htop 2,图形界面查看系统状态: gnome-system-monitor(或者在搜索界面中搜索system monitor) 3,jetson-stats包查看(适用于英伟达开发板) sudo jtop 能够查看系统内核,内存,gpu,温度等信息,非常全面 如何安装? Jetson-states是一个软件包,用以监控和控制Jetson开发板,也就是说,这个命令可能只是适合英伟达开发板,普通的ubuntu可能用不上哈. 安装命令莫名诡异:因

log.io之浏览器端实时日志监管系统

logio https://github.com/NarrativeScience/Log.io http://logio.org/ 部署 http://www.ibm.com/developerworks/cn/web/1607-browser-logio-monitor/index.html?ca=drs-&utm_source=tuicool&utm_medium=referral

Linux -- 利用IPS(入侵防御系统) 构建企业Web安全防护网

一.IPS系统简介 (应用层上应用) 防火墙只在网络层上应用,IPS 和防火墙相比,检测及过滤功能更为强大,它通过串联在网络主干线路上,对防火 墙所不能过滤的攻击进行过滤.这样一个两级的过滤模式,可以最大地保证系统的安全.在 一些专业的机构,或对网络安全要求比较高的地方,IPS和其他审计跟踪产品结合,可以提 供针对网络信息资源全面的审计资料,这些资料对于攻击还原.入侵取证.异常事件识别. 网络故障排除等等都有很重要的作用. 作为串接部署的设备,IPS必须要确保用户业务不受影响,错误的阻断必定意味

使用 Kafka 和 Spark Streaming 构建实时数据处理系统(转)

原文链接:http://www.ibm.com/developerworks/cn/opensource/os-cn-spark-practice2/index.html?ca=drs-&utm_source=tuicool 引言 在很多领域,如股市走向分析, 气象数据测控,网站用户行为分析等,由于数据产生快,实时性强,数据量大,所以很难统一采集并入库存储后再做处理,这便导致传统的数据处理架构不能满足需要.流计算的出现,就是为了更好地解决这类数据在处理过程中遇到的问题.与传统架构不同,流计算模型

linux查看系统的日志的一些实用操作

last -a 把从何处登入系统的主机名称或ip地址,显示在最后一行. -d 指定记录文件.指定记录文件.将IP地址转换成主机名称. -f <记录文件> 指定记录文件. -n <显示列数>或-<显示列数> 设置列出名单的显示列数. -R 不显示登入系统的主机名称或IP地址. -x 显示系统关机,重新开机,以及执行等级的改变等信息 以下看所有的重启.关机记录 last | grep reboot last | grep shutdown history 列出所有的历史记录