secilog 1.16 发布 增加了集群,离线日志导入,日志过滤和归并等

日志分析软件 secilog 1.16发布,增加了集群,离线日志导入,日志过滤和归并,日志管理,配置管理等。上篇文章1.15,有兴趣可以了解一下。本次升级主要增加以下功能:

集群

主要是采集器可以分布式集群部署,支持横向扩展,理论上支持海量数据。

配置文件中增加了两项:

secilog.master=true采集器主从节点标志,当是从节点的时候,内容要修改成false

master.ip= 当采集器是从节点的时候,需要指定主节点的ip,同时要确保系统7017,7018端口畅通。

离线日志导入

离线日志导入,可以上传文本文件到服务器上,供服务器来分析,可以支持多个文件一次上传:

点击选择文件后会打开本地选择文件对话框,然后选择一个或者多个文本文件。选择文件后,点击开始上传。系统会把文件上传到服务器中。对上传到服务器上的文件,后台的采集器会每各10分钟检查是否有新的上传文件,如果有新的文件,后台会分析新上传的文件。

日志过滤和归并:

过滤规则是指满足条件的日志直接忽略掉,不进行入库操作。

合并规则是指,同时多条日志中,满足相同条件的日志合并成一条日志记录到数据库中。

日志管理:

日志管理主要是对日志进行管理,包括日志的删除和备份。由于日志是不停的增加,当磁盘不足的时候会严重的影响系统的运行。所以当磁盘空间不足80%的时候系统后台会强制删除日志。当然也可以手动通过日志管理进行删除。

配置管理

配置管理是对系统中的配置进行备份和恢复的管理。备份的配置可以下载下来进行离线备份。

下个版本会增加web日志域名对应功能,英文界面版本功能。

时间: 2024-08-06 16:19:46

secilog 1.16 发布 增加了集群,离线日志导入,日志过滤和归并等的相关文章

secilog 1.16 发布 增加了集群.日志导入,日志过滤和归并等

日志分析软件 secilog 1.16发布,增加了集群,离线日志导入,日志过滤和归并,日志管理,配置管理等.上篇文章1.15,有兴趣可以了解一下.本次升级主要增加以下功能: 集群 主要是采集器可以分布式集群部署,支持横向扩展,理论上支持海量数据. 配置文件中增加了两项: secilog.master=true采集器主从节点标志,当是从节点的时候,内容要修改成false master.ip= 当采集器是从节点的时候,需要指定主节点的ip,同时要确保系统7017,7018端口畅通. 离线日志导入 离

secilog 1.15 发布 增加了搜索保存数据库采集web日志报表等。

日志分析软件 secilog 1.15发布,增加了搜索保存数据库采集web日志报表等.上篇文章1.13,有兴趣可以了解一下.本次升级主要增加以下功能: 日志搜索保存: 通过日志搜索保存可以把常用的搜索保存起来,下次可以更方便的进行查询. web日志报表: 专门对web日志增加了一个报表功能,可以提供pv,独立ip趋势图,http状态码分布,流量统计,ip访问排行和页面访问排行常用web统计报表. 增加了数据库采集: 首先在日志配置中进行增加. 在增加的页面中填写sql和主键信息,主键要是数字类型

Apache Hadoop集群离线安装部署(三)——Hbase安装

Apache Hadoop集群离线安装部署(一)--Hadoop(HDFS.YARN.MR)安装:http://www.cnblogs.com/pojishou/p/6366542.html Apache Hadoop集群离线安装部署(二)--Spark-2.1.0 on Yarn安装:http://www.cnblogs.com/pojishou/p/6366570.html Apache Hadoop集群离线安装部署(三)--Hbase安装:http://www.cnblogs.com/po

k8s集群中的EFK日志搜集系统

Kubernetes 集群本身不提供日志收集的解决方案,一般来说有主要的3种方案来做日志收集:1.在每个节点上运行一个 agent 来收集日志由于这种 agent 必须在每个节点上运行,所以直接使用 DaemonSet 控制器运行该应用程序即可这种方法也仅仅适用于收集输出到 stdout 和 stderr 的应用程序日志简单来说,本方式就是在每个node上各运行一个日志代理容器,对本节点/var/log和 /var/lib/docker/containers/两个目录下的日志进行采集2.在每个

secilog 1.17 发布 增加了英文版本等新功能

日志分析软件 secilog 1.17发布,增加了英文版本,对日志导入增加了日志机器ip和日志机器名,或者日志ip和日志域名的关系.上篇文章1.16,有兴趣可以了解一下.本次升级主要增加以下功能: 增加了英文版本.现在90%以上的内容都已经完成了,现在唯一就是内容还没有完全英文华,这部分有点复杂,可以理解为业务数据,这些数据是在程序中根据规则等生成的,后面再想想办法把这部分也实现了. 登录后进去的页面: 增加了离线日志分析,解析ip和机器名或者ip和域名的能力. 由于很多的web日志或者linu

secilog 1.18 发布 增加了mysql审计,多个web报表等

日志分析软件 secilog 1.18发布,增加了mysql数据库审计,增加了多个web报表,对日志查询做了更多友好的新特性,上篇文章1.17,有兴趣可以了解一下.本次升级主要增加以下功能: 增加了mysql数据库审计 mysql的审计主要有几种方式,常用的是分析mysql的binlog功能,而binlog的分析一般不能实时分析,还有个问题就是binlog是二进制内容,需要借助第三方系统才可以分析.还有一种常用的方式是通过sniffer来分析mysql的请求,我们目前主要采用的是sniffer来

seci-log 1.07 发布 增加资产发现和远程日志分析

日志分析软件 seci-log 1.07发布,增加了资产,端口扫描,并把发现的资产自动添加到资产库中,支持远程日志采集分析.上篇文章http://www.oschina.net/news/63425/seci-log-1-06,有兴趣可以了解一下. 资产扫描 系统支持自动扫描资产,并添加到资产库中,同时扫描系统的对外开放端口.系统资产扫描借助了nmap的扫描能力,nmap在系统中已经集成到系统中了,但nmap在window下依赖winpcap,所以需要手动安装winpcap,文件路径在程序的to

seci-log 1.12 发布 增加了http 旁路抓包审计

日志分析软件 seci-log 1.12发布,增加了增加了http 旁路抓包审计.上篇文章http://www.oschina.net/news/64725/seci-log-1-11,有兴趣可以了解一下.增加内容如下: seci-log主要的功能是做日志分析,但有时候也苦于没有日志很多时候没有办法下手,之前有个使用者提出了sniffer http协议进行审计的需求,发现这个需求具有普遍性.于是这两周就重点做了http 旁路抓包审计. 日志源,刚开始研究了snort,Xplico等软件,发现并不

seci-log 1.10 发布 增加了全文搜索密码加密等多个功能点

日志分析软件 seci-log 1.10发布,增加了全文搜索密码加密等多个功能点.上篇文章http://www.oschina.net/news/64015/seci-log-1-09,有兴趣可以了解一下. 1.修改了windows2003 扫描资产的错误. 2.增加了密码加密功能,对邮件,远程机器访问的秘密进行加密,会更安全一些. 3.增加了资产统计报表 4.完善了整体报告,增加了告警主机排行和告警类型排行. 5.增加了登录统计报表 6.整合了全文搜索.这样就可以去掉了Kibana,虽然我们的