网络流量分析利器-可视化网络-netflow【1】-基础原理

网络流量分析利器-可视化网络-netflow【1】-基础原理
网络流量分析利器-可视化网络-netflow【2】-Cisco NetFlow 工作原理介绍及配置
网络流量分析利器-可视化网络-netflow【3】-netflow版本5和版本9区别
网络流量分析利器-可视化网络-netflow【4】-接收器nfdump简介
网络流量分析利器-可视化网络-netflow【5】-linux下数据采集器fprobe
网络流量分析利器-可视化网络-netflow【6】-生产网流量监控架构设计
fprobe参数 -e
fprobe参数 -n -k

需求

你可能想看到这样的流量分析:

但是你用成熟的第三方工具可能只能的到这样的效果:

现有的snmp协议可以获取交换机的接口流量,我们可以利用成熟的工具zabbix或者openflacon,但是此数据只是接口进出总流量,并不能具体体现A虚拟机和B虚拟机的互访的流量大小,这个问题严重影响了成本核算安全监控等问题,如果能准确获得流量大小,就能进行跟多的分析和研究,netflow协议就能完美解决此问题。

netflow历史

NetFlow是思科公司作为一项专有技术最先开始研发的。目前最广泛应用的是V5,V7和V9版本,支持NetFlow的厂商包括Cisco、Juniper等。

Netflow技术最早是于1996年由思科公司的Darren Kerr和Barry Bruins发明的,并于同年5月注册为美国专利,专利号为6,243,667。Netflow技术首先被用于网络设备对数据交换进行加速,并可同步实现对高速转发的IP数据流(Flow)进行测量和统计。经过多年的技术演进,Netflow原来用于数据交换加速的功能已经逐步由网络设备中的专用ASIC芯片实现,而对流经网络设备的IP数据流进行测量和统计的功能也已更加成熟,并成为了当今互联网领域公认的最主要的IP/MPLS流量分析,统计和计费行业标准。Netflow技术能对IP/MPLS网络的通信流量进行详细的行为模式分析和计量,并提供网络运行的详细统计数据。
在Netflow技术的演进过程中,思科公司一共开发出了5个主要的实用版本,即:

  • Netflow V1,为Netflow技术的第一个实用版本。支持IOS 11.1,11.2,11.3和12.0,但在如今的实际网络环境中已经不建议使用。
  • Netflow V5,增加了对数据流BGP AS信息的支持,是当前主要的实际应用版本。支持IOS 11.1CA和12.0及其后续IOS版本。
  • Netflow V7,思科Catalyst交换机设备支持的一个Netflow版本,需要利用交换机的MLS或CEF处理引擎。
  • Netflow V8,增加了网络设备对Netflow统计数据进行自动汇聚的功能(共支持11种数据汇聚模式),可以大大降低对数据输出的带宽需求。支持IOS12.0(3)T,12.0(3)S,12.1及其后续IOS版本。
  • Netflow V9,一种全新的灵活和可扩展的Netflow数据输出格式,采用了基于模板(Template)的统计数据输出。方便添加需要输出的数据域和支持多种Netflow新功能,如Multicase Netflow,MPLS Aware Netflow,BGP Next Hop V9,Netflow for IPv6等。支持IOS12.0(24)S和12.3T及其后续IOS版本。在2003年思科公司的Netflow V9还被IETF组织从5个候选方案中确定为IPFIX(IP Flow Information Export)标准。

netflow原理

被监控的交换机,将端口进方向的数据包进行分析,把相关信息(源地址,目的地址,源端口,目的端口,协议,包大小等信息)放进NetFlow包中,发到收集器(netflow collector)中,这个处理过程将消耗被监控设备的cpu和内存。收集器(监控软件,都是第三方的)将数据进行整理,呈现报表。

优点

  • 相比较snmp我能看到四层以下的数据,更清晰的洞察网络流量走向。
  • 相比较镜像,netflow数据使用更少的存储空间。
  • 可以进行深度分析,比如排查***者行为,统计公网使用量,快速定位专线使用大户,甚至可以自动化下发策略。

缺点

  • 没有现成的第三方工具进行分析,需要自己二次开发。(后续解决)
  • 相对于snmp,需要更大的空间进行存储
  • 需要交换机支持或者使用linux镜像服务器

原文地址:https://blog.51cto.com/9346709/2474569

时间: 2024-08-29 22:40:07

网络流量分析利器-可视化网络-netflow【1】-基础原理的相关文章

网络流量分析——NPMD关注IT运维、识别宕机和运行不佳进行性能优化。智能化分析是关键-主动发现业务运行异常。

科来 做流量分析,同时也做了一些安全分析(偏APT)--参考其官网:http://www.colasoft.com.cn/cases-and-application/network-security-analysis.php 作为安全工程师的你,想发现有谁在攻击我,还原攻击过程并且取证么? 作为立志成为网络技术大拿的你,想在学习理论知识的同时,了解实战中会遇到的哪些问题,这些问题用什么样的思路去解决么?如果以上答案为Yes,那么<CSNA网络分析经典实战案例>就是你的菜,以下内容全是网络安全真

六种常用的网络流量特征提取工具

六种常用的网络流量特征提取工具 在互联网用户行为分析和异常行为检测的相关研究中,协议识别和特征提取是网络流量特征分析的重要技术手段.下面,本文为大家介绍几款常用的网络流量特征提取的工具. 一.WireShark WireShark是一款常见的网络数据包分析工具.该软件可以在线截取各种网络封包,显示网络封包的详细信息,也可分析已有的报文数据,如由 tcpdump/Win Dump.WireShark 等采集的报文数据.WireShark 提供多种过滤规则,进行报文过滤.使用者可借助该工具的分析功能

ntopng网络流量实时监控

High-Speed Web-based Traffic Analysis and Flow Collection ntopng is the next generation version of the original ntop, a network traffic probe that monitors network usage. ntopng is based on libpcapand it has been written in a portable way in order to

五、网卡信息检测与网络流量检测

网络适配器: 又称网卡或网络接口卡(NIC),是连接计算机与网络的硬件设备. 整理计算机上发往网线上的数据,并将数据分解为适当大小的数据包之后向网络上发送. System.Net.NetworkInformation命名空间提供了: 对本机网卡相关信息的检测比如本机有多少网卡,网卡名称.速度.硬件地址等. 对本机网络流量的检测比如网络连接配置.接收与发送的数据包等. Ping类检测本机是否可访问网络上的其它计算机. NetworkInterface类 提供了网络适配器的配置和统计信息.可以利用这

bro流量分析(改名zeek)

计算机入侵取证: 计算机取证是运用计算机及其相关科学和技术的原理和方法获取与计算机相关的证据以证明某个客观事实的过程.它包括计算机证据的确定.收集.保护.分析.归档以及法庭出示. bro基础介绍: bro是一款被动的开源流量分析器.它主要用于对链路上所有深层次的可疑行为流量进行安全监控,为网络流量分析提供了一个综合平台,特别侧重于语义安全监控.虽然经常与传统入侵检测/预防系统进行比较,但bro采用了完全不同的方法,为用户提供了一个灵活的框架,可以帮助定制,深入的监控远远超出传统系统的功能. br

《UNIX/Linux网络日志分析与流量监控》新书发布

本书从UNIX/Linux系统的原始日志(Raw Log)采集与分析讲起,逐步深入到日志审计与计算机取证环节.书中提供了多个案例,每个案例都以一种生动的记事手法讲述了网络遭到入侵之后,管理人员开展系统取证和恢复的过程,案例分析手法带有故事情节,使读者身临其境地检验自己的应急响应和计算机取证能力. 本书使用的案例都是作者从系统维护和取证工作中总结.筛选出来的,这些内容对提高网络维护水平和事件分析能力有重要的参考价值.如果你关注网络安全,那么书中的案例一定会引起你的共鸣.本书适合有一定经验的UNIX

使用 ElasticSearch + LogStash + Kibana 来可视化网络流量

简介 ELK 套装包括 ElasticSearch.LogStash 和 Kibana. 其中,ElasticSearch 是一个数据搜索引擎(基于 Apache Lucene)+分布式 NoSQL 数据库:LogStash 是一个消息采集转换器,类似 Syslog,可以接收包括日志消息在内的多种数据格式,然后进行格式转换,发送给后端继续处理:Kibana 是一个 Web 前段,带有强大的数据分析.整理和可视化功能. 是不是听起来就觉得十分强大! 一般情况下,ELK 套装的工作流程为 原始数据

Cacti 是一套基于PHP,MySQL,SNMP及RRDTool开发的网络流量监测图形分析工具

Cacti 是一套基于PHP,MySQL,SNMP及RRDTool开发的网络流量监测图形分析工具. mysqlreport是mysql性能监测时最常用的工具,对了解mysql运行状态和配置调整都有很大的帮助. mysqlsla是hackmysql.com推出的一款MySQL的日志分析工具,功能非常强大. 数据报表,非常有利于分析慢查询的原因, 包括执行频率, 数据量, 查询消耗等. http://www.kxtry.com/archives/338

Linux网络流量监控与分析工具Ntop和Ntopng

Ntop工具 Ntop是一个功能强大的流量监控.端口监控.服务监控管理系统 能够实现高效地监控多台服务器网络 Ntop功能介绍 Ntop提供了命令行界面和web界面两种工作方式,通过web'界面,可以清晰展示网络的整体使用情况.网络中各主机的流量状态与排名.各主机占用的带宽以及各时段的流量明细.局域网内各主机的路由.端口使用情况等. Ntop是网络流量监控中的新秀,它是一种网络嗅探器,在运维中,可以使用Ntop检测网络数据传输.排除网络故障,分析网络流量判断网络上存在的各种问题.同时监控是否有黑