数据包级网络遥测和网络安全推送分析

  随着网络规模,复杂性和流量的增长,对连续和精确监控的需求比以往任何时候都要大。持续监控是检测安全问题,错误配置,设备故障以及执行流量工程的重要部分。

  在最高级别,它是一种基于推送的监控方法:数据平面设备(如交换机和路由器)将有关流量和性能的数据流式传输到执行分析的软件。网络遥测正在成为支持这些需求的有力方式。

  今天的遥测系统迫使用户在粒度和覆盖范围之间进行选择。分组级系统将每个分组(或报头)流式传输到软件。这提供了细粒度的可见性,但是在软件中处理每个数据包的成本使得高覆盖率变得不切实际。流级系统(如NetFlow)会在数据包到达分析软件之前将数据包汇总到每个流记录中。这大大减少了工作量并使高覆盖率变得实用,但却牺牲了数据包级别的可见性。

  下一代遥测系统可以利用交换机和服务器硬件的进步,在粒度和性能之间取得更好的平衡。在交换机中,可重新配置的数据平面支持以每秒数10亿个数据包的线路速率进行自定义数据包处理。在服务器中,高带宽内存和指令级并行化每秒可实现数万亿次计算。

?  两个平台虽然都很强大,但它们都不擅长遥测和分析系统所需的一切。因此,确定每个平台应发挥的作用至关重要。大多数网络分析任务可分为三个不同阶段:

  1.选择阶段从数据路径中提取数据包特征。

  2.分组阶段按标题空间的某个子集对要素进行分组。

  3.最后,聚合阶段计算每组数据包的统计信息。

  聚合阶段更适合服务器,因为它是特定于应用程序的,并且可能需要对交换机硬件进行过于复杂的计算。选择和分组阶段更适合于交换机数据平面硬件,它可以直接访问数据包报头,并可以通过低延迟的片上存储器执行基本的分组操作。(欢迎转载分享)

原文地址:https://www.cnblogs.com/hacker520/p/9742648.html

时间: 2024-08-04 15:23:42

数据包级网络遥测和网络安全推送分析的相关文章

高级级网络工程师面试题60例分析

一.云网服务管理 缓存DNS与权威DNS有什么区别?一般用户在上网时,DNS解析过程是怎样的?答案:权威/官方DNS:至少管理一个DNS区域,,需要IANA等官方机构授权:比如根域DNS.一级域DNS.二级域DNS服务器等等.缓存DNS:无需管理任何DNS区域,但是能够替客户机查询,通过缓存.复用查询结果来提高客户机体验的响应速度:比如ISP服务商.企业局域网.用户上网时的DNS解析过程,按照优先顺序如下:1) 首先检查本机的DNS缓存(内存中的记录)2) 然后检查本机的hosts文件3) 然后

Jenkins+ProGet+Windows Batch搭建全自动的内部包(NuGet)打包和推送及管理平台

这一篇文章是继http://www.cnblogs.com/EasonJim/p/5954155.html的升级版,由于CCNET已经过程,所以我把打包过程的CCNET工具换成Jenkins去实现,批处理那些也没有改变. 同时这也是全程批处理的操作实践. 阅读时,请参考上一篇的实现思路. 一.配置 1.新建Job 注意:上面选择为[构建一个自由风格的软件项目] 2.填写项目信息 3.配置SVN获取源码 这里默认这样选择,只有更新时才会去触发下一步操作. 4.配置构建触发的时间 这里是每分钟进行s

网络概述:数据包、数据帧

1.数据包 "包"(Packet)是TCP/IP协议通信传输中的数据单位,一般也称"数据包".有人说,局域网中传输的不是"帧"(Frame)吗?没错,但是TCP/IP协议是工作在OSI模型第三层(网络层).第四层(传输层)上的,而帧是工作在第二层(数据链路层).上一层的内容由下一层的内容来传输,所以在局域网中,"包"是包含在"帧"里的. 数据包主要由"目的IP地址"."源IP地

SDN Overlay 网络中虚机数据包的转发(2)

在配置了网络虚拟化(Overlay)的网络结构中,处于Overlay网络中的虚机数据包的封装和MAC地址学习和传统物理网络(Underlay)相似又不尽相同.除了我们了解Overlay网络需要借助Underlay网络进行二次封装之外,其MAC地址学习过程也相对要曲折一些.这些MAC地址学习过程取决于多种因素: 虚机是否在同一虚拟子网? 虚机是否在同一虚机网络的不同虚拟子网? 虚机是否运行于同一台物理机? 虚机是否运行在不同的物理机? 不同的场景,虚机之间学习对方的MAC地址,以及在互相学习到对方

Linux内核--网络栈实现分析(七)--数据包的传递过程(下)

本文分析基于Linux Kernel 1.2.13 原创作品,转载请标明http://blog.csdn.net/yming0221/article/details/7545855 更多请查看专栏,地址http://blog.csdn.net/column/details/linux-kernel-net.html 作者:闫明 注:标题中的”(上)“,”(下)“表示分析过程基于数据包的传递方向:”(上)“表示分析是从底层向上分析.”(下)“表示分析是从上向下分析. 在博文Linux内核--网络栈

SDN Overlay 网络中虚机数据包的转发(1)

在配置了网络虚拟化(Overlay)的网络结构中,处于Overlay网络中的虚机数据包的封装和MAC地址学习和传统物理网络(Underlay)相似又不尽相同.除了我们了解Overlay网络需要借助Underlay网络进行二次封装之外,其MAC地址学习过程也相对要曲折一些.这些MAC地址学习过程取决于多种因素:     1)  虚机是否在同一虚拟子网?    2)  虚机是否在同一虚机网络的不同虚拟子网?    3)  虚机是否运行于同一台物理机?    4)  虚机是否运行在不同的物理机?不同的

【netty】Netty系列之Netty百万级推送服务设计要点

1. 背景 1.1. 话题来源 最近很多从事移动互联网和物联网开发的同学给我发邮件或者微博私信我,咨询推送服务相关的问题.问题五花八门,在帮助大家答疑解惑的过程中,我也对问题进行了总结,大概可以归纳为如下几类: Netty是否可以做推送服务器? 如果使用Netty开发推送服务,一个服务器最多可以支撑多少个客户端? 使用Netty开发推送服务遇到的各种技术问题. 由于咨询者众多,关注点也比较集中,我希望通过本文的案例分析和对推送服务设计要点的总结,帮助大家在实际工作中少走弯路. 1.2. 推送服务

Wireshark网络抓包(三)——网络协议

一.ARP协议 ARP(Address Resolution Protocol)地址解析协议,将IP地址解析成MAC地址. IP地址在OSI模型第三层,MAC地址在OSI第二层,彼此不直接通信: 在通过以太网发生IP数据包时,先封装第三层(32位IP地址)和第二层(48位MAC地址)的报头: 但由于发送数据包时只知道目标IP地址,不知道其Mac地址,且不能跨越第二.三层,所以需要使用地址解析协议. ARP工作流程分请求和响应: 在dos窗口内"ping"某个域名抓取到的包: 二.IP协

Netty系列之Netty百万级推送服务设计要点

原文:http://www.infoq.com/cn/articles/netty-million-level-push-service-design-points 1. 背景 1.1. 话题来源 最近很多从事移动互联网和物联网开发的同学给我发邮件或者微博私信我,咨询推送服务相关的问题.问题五花八门,在帮助大家答疑解惑的过程中,我也对问题进行了总结,大概可以归纳为如下几类: Netty是否可以做推送服务器? 如果使用Netty开发推送服务,一个服务器最多可以支撑多少个客户端? 使用Netty开发