OSSIM平台安全事件关联分析实践

OSSIM平台安全事件关联分析实践

在《开源安全运维平台OSSIM最佳实践》一书中叙述到,事件关联是整个OSSIM关联分析的核心,对于OSSIM的事件关联需要海量处理能力,主要便于现在需要及时存储从设备采集到的日志,并能关联匹配和输出,进而通过Web UI展示。从实时性上看,关联分析的整个处理过程不能间断,这对系统的实时性要求较高,另外Ossim系统是基于规则的,Ossim内部具有多套高速规则分析引擎,以实现模式匹配和对关联分析结果调用。所以系统的关联引擎是一个典型数据处理系统,必须依靠强大的数据库做支撑,在开源OSSIM系统中就采用了基于MySQL5.6数据库的数据库,在商业版采用MonogDB。

普通日志存入数据库较容易,但如果是关联引擎将报警存入数据库的过程要复杂,到底它的压力在哪儿?例如一个关联规则需要在1秒钟内,通过SQL语句获取10条数据,那么关联引擎就需要在1秒钟内进行10次磁盘存取,这个要求就比普通日志存入数据库高,而OSSIM数据库中的表、字段、索引都为了这种事务处理进行特殊设置,具有一次写多次读的特性。对于复杂模式的匹配非常有用,例如,筛选出1分钟内SSH登录服务器,失败次数超过5次的源IP地址,关联分析引擎将定时进行SQL访问,找到某个符合要求的事件记录。

许多安全管理者抱怨,已经设置了防火墙、入侵检测、防病毒系统、网管软件,为什么网络安全管理仍很麻烦。当前网络安全管理者面临如下挑战:

1) 安全设备和网络应用产生的安全事件数量巨大,IDS误报严重。一台IDS系统,一天产生的安全事件数量成千上万,通常99%的安全事件属于误报,而少量真正存在威胁的安全事件淹没在误报信息中,难以识别。

2) 安全事件之间存在的横向和纵向方面(如不同空间来源、时间序列等)的关系未能得到综合分析,因此漏报严重,不能实现实时预测。一个攻击活动之后常常接着另一个攻击活动,前一个攻击活动为后者提供基本条件;一个攻击活动在多个安全设备上产生了安全事件;多个不同来源的安全事件其实是一次协作攻击,这些都缺乏有效的综合分析。

3) 安全管理者缺乏对整个网络安全态势的全局实时感知能力。

充分利用多种安全设备的检测能力,集中处理的致命弱点是待分析处理的数据量巨大,那些庞大冗余,独立分散,安全事件显然不能直接作为响应依据,同时网络安全防护也有实时性要求,上述问题的根本解决途径是网络安全事件关联处理,到底什么是关联分析呢,有几个基本的概念大家需要了解。

1) 安全事件:本书一开始就提到了安全事件,包括服务器安全日志,重要应用的告警以及日志。

2) 数据源(DateSource),数据源是安全事件的来源,这里包括防火墙、入侵检测系统,重要主机、路由交换设备的日志。

3) 数据关联:将多个数据源的数据进行联合(Association)、相关(Correlation)或组合(Combination)分析,以获得高质量的信息。它将不同空间设备的日志,不同时间序列存在的问题进过特定关联方法结合在一起,最终确定工具的分析方法。当然这些只是广义的安全事件关联方法,后面章节还会专门针对OSSIM讲解具体的规则。

4) 交叉关联:它是最常见的数据关联方式,可以将安全事件与网络拓扑、系统开放的服务、设备存在的漏洞进行关联匹配,以分析攻击成功的可能性。利用这种关联方法可以在OSSIM系统中关联规则检测到某些威胁,并实现自动响应(比如发出告警等)。

下面举几个异常实例:

完整性方面,文件完整监控工具发现系统中ls、ps、netstat、su等程序大小和所有者被改变,可判断受到攻击;系统方面,用户账号被修改及一些不能解释的异常登录行为,在不可能的地方出现了新的文件、目录或者丢失了文件、目录大小急速增大、骤然减小、MD5签名不匹配,这些迹象都说明明系统已遭受入侵。日志方面,系统日志缩减,日志中出现了不明条目、异常的中断消息都说明了系统遭受入侵。流量方面,若干节点大规模流量增大则可能遭受拒绝服务攻击。

为了达到安全事件关联分析的目的,就要有好的事件处理机制,比如前面讲的日志收集的归一化处理,还得有好的关联方法,而且不止一种关联方法,将多种实时关联方法结合到一起效果更佳。大量标准化处理的事件被送入关联引擎处理后,它们会经历事件分类处理、聚合、交叉关联、启发式关联等多种关联方法,系统会根据数据库中的安全事件进行统计分类,找出经常导致安全事件的发源地和经常被攻击的端口,在这些阶段都会产生事件告警,其安全事件关联过程模块,为了更加详细了解安全事件关联分析原理和实践,请参阅《开源安全运维平台-OSSIM最佳实践》

时间: 2024-11-08 17:12:21

OSSIM平台安全事件关联分析实践的相关文章

日志聚合与关联分析技术实例视频演示

日志聚合与关联分析技术实例视频演示 各种网络应用日志如何预处理变成事件,各类事件又是如何经过聚合进行关联分析的技术已在<开源安全运维平台OSSIM最佳实践>一书进行了详尽的分析,下面就给大家展示,在大数据IDS机房环境中如何在海量日志中,快速定位SSH暴力破解攻击源,让你看得见网络攻击. 高清视频地址: http://www.tudou.com/programs/view/uP0V9fQlzuo 看过之后,感觉如何?ELK.Splunk系统能实现吗?这里我只是举了SSH的例子,可类似这种可视化

网易大数据平台的Spark技术实践

网易大数据平台的Spark技术实践 作者 王健宗 网易的实时计算需求 对于大多数的大数据而言,实时性是其所应具备的重要属性,信息的到达和获取应满足实时性的要求,而信息的价值需在其到达那刻展现才能利益最大化,例如电商网站,网站推荐系统期望能实时根据顾客的点击行为分析其购买意愿,做到精准营销. 实时计算指针对只读(Read Only)数据进行即时数据的获取和计算,也可以成为在线计算,在线计算的实时级别分为三类:Real-Time(msec/sec级).Near Real-Time(min/hours

【MDCC 2015】友盟数据平台负责人吴磊:移动大数据平台的架构与实践

转自: http://www.csdn.net/article/2015-10-20/2825962 [MDCC 2015]友盟数据平台负责人吴磊:移动大数据平台的架构与实践 [CSDN现场报道]10月14日-16日,“ 2015移动开发者大会 · 中国” (Mobile Developer Conference China 2015,简称MDCC 2015)在北京新云南皇冠假日酒店隆重举行.本次大会由全球最大中文IT社区CSDN和中国最具关注度的全方位创业平台创新工场联合主办,以“万物互 联,

构建大型云计算平台分布式技术的实践

作者 章文嵩 发布于 2014年7月23日 | 本文基于章文嵩博士在2014年7月18日的全球架构师峰会ArchSummit上的主题演讲<构建大型云计算平台分布式技术的实践>整理而成. 演讲者简介 章文嵩博士是阿里集团的高级研究员与副总裁,主要负责基础核心软件研发和云计算产品研发.推进网络软硬件方面的性能优化.搭建下一代高可扩展低碳低成本电子商务基础设施.他也是开放源码及Linux内核的开发者,著名的Linux集群项目LVS(Linux Virtual Server)的创始人和主要开发人员.L

基于规则的安全事件关联分析模型

在人工智能的浪潮下,现在各类科技领域都要加上一点AI.深度学习.神经网络的概念,以免不落后于潮流.但是产品归产品,技术归技术.就人工智能当下的成熟度而言,笔者认为至少在信息安全领域,由专业的安全专家团队利用庞大的项目经验.客户运维经验组成的各类安全规则库能力依然是优于AI引擎的.类似于Exabeam之流采用机器学习的UEBA产品,无论实在公开案例还是我所了解的客户反馈均表示,客户专业的安全运维部门还是更依赖于基于规则库的SIEM. 当然,本篇文章并不是对比机器学习与传统规则库在安全领域的孰是孰非

大数据云计算openstack云平台基础到精通实践视频教程

38套大数据,云计算,架构,数据分析师,Hadoop,Spark,Storm,Kafka,人工智能,机器学习,深度学习,项目实战视频教程 视频课程包含: 38套大数据和人工智能精品高级课包含:大数据,云计算,架构,数据挖掘实战,实时推荐系统实战,电视收视率项目实战,实时流统计项目实战,离线电商分析项目实战,Spark大型项目实战用户分析,智能客户系统项目实战,Linux基础,Hadoop,Spark,Storm,Docker,Mapreduce,Kafka,Flume,OpenStack,Hiv

用OSSIM平台轻松发现“心脏出血”漏洞

用OSSIM平台轻松发现"心脏出血"漏洞 "心脏出血"漏洞作为目前互联网中存在的最为严重网络安全漏洞,攻击者借助"心脏出血"漏洞可以获取用户上网的账户.密码以及网上交易等众多敏感信息,因此我们必须提前测试并想法对这类漏洞进行修复,从而保证网上交易的安全.下文介绍如何用OSSIM平台来检测"心脏出血"漏洞的具体方法.首先登陆OSSIM平台的WebUI界面,打开SIEM 控制台菜单.我们通过数据源插件过滤,可发现如下事件 下面进一

关联分析FPGrowth算法在JavaWeb项目中的应用

关联分析(关联挖掘)是指在交易数据.关系数据或其他信息载体中,查找存在于项目集合或对象集合之间的频繁模式.关联.相关性或因果结构.关联分析的一个典型例子是购物篮分析.通过发现顾客放入购物篮中不同商品之间的联系,分析顾客的购买习惯.比如,67%的顾客在购买尿布的同时也会购买啤酒.通过了解哪些商品频繁地被顾客同时购买,可以帮助零售商制定营销策略.分析结果可以应用于商品货架布局.货存安排以及根据购买模式对顾客进行分类. FPGrowth算法是韩嘉炜等人在2000年提出的关联分析算法,在算法中使用了一种

看看美团如何进行数据治理平台的建设与实践?

背景 作为一家高度数字化和技术驱动的公司,美团非常重视数据价值的挖掘.在公司日常运行中,通过各种数据分析挖掘手段,为公司发展决策和业务开展提供数据支持.经过多年的发展,美团酒旅内部形成了一套完整的解决方案,核心由数据仓库+各种数据平台的方式实现.其中数据仓库整合各业务线的数据,消灭数据孤岛:各种数据平台拥有不同的特色和定位,例如:自助报表平台.专业数据分析平台.CRM数据平台.各业务方向绩效考核平台等,满足各类数据分析挖掘需求.早期数据仓库与各种数据平台的体系架构如图1所示: 图1 酒旅早期各数