安全事件标准化

一般的日志系统无法做到日志的标准化,而在OSSIM系统中不仅需要统一格式,而且要专门的属性,我们看几个典型字段及说明:

l Alarm 报警名称

l Event id 安全事件编号

l Sensor id: 发出事件的传感器编号

l Source IP :src_ip 安全事件源IP地址

l Source Port :src_port 安全事件源端口

l Type 类型分为两类一类是detector,另一类是monitor

l Signature 触发安全事件的特征值

l Reliability 安全事件的可信度(描述了一个检测到的攻击是否真的成功可能性,侧面反映了安全事件的严重性质)

为了更好的学习第2章介绍的SIEM控制台,下面先看几个统一格式安全事件的实例,

在Redis服务器中处理大量的非结构化数据,但最终经过一系列规则检测发出的报警,再经过聚合后产生的聚合报警具有统一格式,并集中存储在MySQL数据库中。下面给出典型的记录格式。

1)Raw Log典型记录格式如图1所示。

图1 Raw Log记录格式

2) SIEM事件归一化记录格式如图2、图3所示。

图2 事件归一化处理格式

图3 SIEM记录格式

在OSSIM中的事件是如何实现存储呢?传感器从各种网络设备和服务器上通过Rsyslog收集原始日志,存储在Sensor所在服务器的硬盘等待处理,当收到日志后,安装在探针服务器上的代理开始工作,利用事先设定好的安全插件开始对日志进行预处理(也就是进行归一化处理),流程如图4所示。

图4传感器日志采集流程

Agent将插件收到的日志送往Server再进行深度加工,将字段按照类别重新组合,成下面的格式(这样就从RAW Log变成了归一化处理的日志,归一化处理格式如表1所示。

表1 归一化处理日志格式


Date


Src_port


Sensor


Dst_ip


Interface


Dst_port


Plugin_id


username


Plugin_sid


password


Prority


filename


Protocol


Userdata1~Userdata5


Src_ip


Userdata6~Userdata9

归一化处理,重要字段含义如下:

l 源和目标地址:在关联分析中属于很重要的内容。

l 源和目标端口:可以分析访问和试图访问的那些服务端口。

l 消息分类: 根据用户登录成功或失败或者尝试的消息分类。

l 时间戳: 这里包括日志消息在设备上产生的时间和系统接收消息的时间(因为有各种延迟存在,时间不同)。

l 优先级: 例如网络设备(交换机)的日志包含了优先级(设备供应商制定)。作为规范化的一部分也需要日志包含优先级。

l 接口: 通过那个网络接口接收到的日志消息。

原始日志是规范化过程的一个重要环节,OSSIM在归一化处理日志的同时也保留了原始日志,可用于日志归档,提供了一种从规范化事件中提取原始日志的手段。

经过归一化处理的日志,再通过TCP 3306端口存储到MySQL数据库中,接着就由关联引擎根据规则、优先级、可靠性等参数进行交叉关联分析,得出风险值并发出各种报警提示信息(详情在后续章节再分析)。

图5 日志存储

接下来,我们再看个实例,下面是一段Apache的原始日志,如图6所示。

图6原始日志

先经过OSSIM系统收集加工后,再通过Web前端展现给大家,方便阅读的格式如图7所示。归一化处理后的事件和原始日志的对比方法我们在后面还会讲解。

图7 归一化处理以后的Apache访问日志

在图7所示的例子当中,仅使用了Userdata1和Userdata2,并没有用到Userdata3~Userdata9这些是扩展位,主要是为了预留给其他设备或服务使用。

图8 SIEM控制台下的主机标识形式

经过归一化处理之后,目标地址会标记成Host-IP地址的形式,例如:Host-192-168-0-1。实际上归一化处理这种操作发生在系统采集和存储事件之后,关联和数据分析之前,在SIEM工具中把采集过程中把数据转换成易读懂的格式,如同图7显示的那样,采用格式化的数据我们能更容易理解。如果您希望继续学习有关安全事件标准化的技术请参考《开源安全运维平台-OSSIM最佳实践》一书。

时间: 2024-12-15 07:08:45

安全事件标准化的相关文章

OSSIM平台安全事件关联分析实践

OSSIM平台安全事件关联分析实践 在<开源安全运维平台OSSIM最佳实践>一书中叙述到,事件关联是整个OSSIM关联分析的核心,对于OSSIM的事件关联需要海量处理能力,主要便于现在需要及时存储从设备采集到的日志,并能关联匹配和输出,进而通过Web UI展示.从实时性上看,关联分析的整个处理过程不能间断,这对系统的实时性要求较高,另外Ossim系统是基于规则的,Ossim内部具有多套高速规则分析引擎,以实现模式匹配和对关联分析结果调用.所以系统的关联引擎是一个典型数据处理系统,必须依靠强大的

标准化与归一化

标准化(Standardization) 是按某个维度进行标准化,例如有下面的矩阵 >>> X = np.array([[ 1., -1., 2.], ... [ 2., 0., 0.], ... [ 0., 1., -1.]]) 正态分布标准化后的结果就是 array([[ 0. ..., -1.22..., 1.33...], [ 1.22..., 0. ..., -0.26...], [-1.22..., 1.22..., -1.06...]]) 归一化(Normalization

ZigBee通信协议标准化是大势所趋

当前,通信技术迅猛发展,ZigBee作为一种新兴的短距离无线通信技术,正有力地推动着低速率无线个人区域网络的发展.以往受制于ZigBee的使用没有标准,在实际应用中,ZigBee接入互联网时需要复杂的应用层网关,也不能实现端到端的数据传输和控制,相互之间不兼容,不利于产业化的发展. 直到ZigBee联盟的成立并于2004年12月通过了ZigBee 1.0标准,ZigBee开始获得快速的发展.在接下来的十多年里,ZigBee 2.0.ZigBee3.0相继推出.联盟成员规模在不断扩大,在无线通信领

关于对《国家网络安全事件应急预案》的几点认识

6月27日,国家互联网信息办公室网站发布了一条信息,关于印发<国家网络安全事件应急预案>的通知.颁布日期为今年的1月10日.信息安全无小事,尤其是在<网络安全法>发布,国家互联网网络攻击不断的大背景下,这个文件的发布非常具有指导意义.下面就简单将个人总结的几个重要点提炼出来,和大家分享. 一.事件分级.预警分级和应急响应对应关系 事件分级 预警分级 应急响应 特别重大网络安全事件 红色 Ⅰ级响应 重大网络安全事件 橙色 Ⅱ级响应 较大网络安全事件 黄色 Ⅲ级响应 一般网络安全事件

oneM2M启动Release 3标准化,华为引领物联网技术布局

http://developer.huawei.com/cn/ict/news/cn/2016/06/onem2m [韩国,首尔,2016年6月] 国际权威的物联网组织oneM2M召开第23次技术全会,Release 3新版本的标准化工作被正式提上日程.在华为主导提议下,面向垂直行业应用的数据分发服务DDS应用.和支持异构设备接入的开放服务网关OSGi互通成为oneM2M Release 3率先成立的两个特性项目,华为同时担任这两个项目的报告人职位. 华为云核心网标准总监张朝辉介绍:“物联网产业

UNIX环境高级编程(3):UNIX标准化及实现(1)

虽然UNIX应用程序在不同的UNIX操作系统版本之间进行移植相同容易,但是20世纪80年代UNIX版本的剧增以及它们之间的差别扩大,导致很多用户呼吁对其进行标准化.标准化工作的一个重要部分是对每种实现必须定义的各种限制进行说明. UNIX标准化: ISO C: 1989年,C程序设计语言的ANSI标准X3.159-1989得到批准,随后该标准被采纳为国际标准ISO/IEC 9899:1990.ANSI是美国国家标准学会(American National Standards Institute)

Web Api 返回参数,实现统一标准化!

string camelCaseObj = JsonConvert.SerializeObject(data, Newtonsoft.Json.Formatting.None, new JsonSerializerSettings() { NullValueHandling = NullValueHandling.Ignore, ReferenceLoopHandling = ReferenceLoopHandling.Ignore, ContractResolver = new CamelCa

转:数据标准化/归一化normalization

转自:数据标准化/归一化normalization 这里主要讲连续型特征归一化的常用方法.离散参考[数据预处理:独热编码(One-Hot Encoding)]. 基础知识参考: [均值.方差与协方差矩阵] [矩阵论:向量范数和矩阵范数] 数据的标准化(normalization)和归一化 数据的标准化(normalization)是将数据按比例缩放,使之落入一个小的特定区间.在某些比较和评价的指标处理中经常会用到,去除数据的单位限制,将其转化为无量纲的纯数值,便于不同单位或量级的指标能够进行比较

Linux下计划任务和标准化工作流程

1.定时任务和计划任务: 2.一次性定时任务at(生产中很少使用) at命令: at [option] TIME        常用选项:     -V 显示版本信息:     -l: 列出指定队列中等待运行的作业:相当于atq     -d: 删除指定的作业:相当于atrm     -c: 查看具体作业任务     -f /path/from/somefile:从指定的文件中读取任务     -m:当任务被完成之后,将给用户发送邮件,即使没有标准输出  #注意:作业执行命令的结果中的标准输出和