随着大数据应用的逐步普及,越来越多的大数据分析、内容安全审计和业务应用可视化的应用得到普及,这个过程中我们面临的一个核心问题那就是:如何把业务流量正确、按需的方式传递给所需的分析系统。
如何把业务流和或者所需的数据包分发到分析系统,实现方式有很多,既有传统的例如HUB、分光器和普通交换机的镜像技术,也有最近几年逐步流行起来的专业网络分流设备。那么这些系统或设备有什么区别呢,下面我们从以几个维度进行一下阐述。
业界分流技术对比
传统的分流系统有分光器、分路器、HUB,以及交换机SPAN技术,和最近几年流行的专业数据分流器几种形态。
从网络分流最普遍的在数据的出口区域或核心区部署实现采集、复制和分发应用的案例,我们分别简述一下各类分流器的区别和优劣点。
第一种,HUB集线器,HUB由于是广播方式,如在业务区核心区挂载HUB,由HUB广播到不同分析系统,一是存在流量回流到核心的风险,即使是VLAN隔离,会造成核心设备处理广播flooding的导致CPU率高,严重造成核心设备和业务异常等高风险。二是HUB 性能严重不足,主流为千/百兆,且是半双工模式,已无法满足10G至40G以上网络环境的应用需求。
此类分流应用,特点是造价成本低但安全风险极高,适用百兆带宽,并对业务安全和稳定不考量的环境,例如测试环境或者学习环境,不适合商业部署。
第二种,是分光器和分路器,此类设备是物理上无源的器件,属于一路光信号复制为多路光信号的方式,技术实现简单,成本低,部署相对简单,是一种非常常见的分流系统部署方式。但是由于串接在业务网络中,通常存在几个风险和问题,一是存在单点故障风险,一旦该器件出现问题,意味着业务的整体中断。二是分光器或分路器是简单的端口到端口的复制,不能灵活的区分业务流,在多个业务分析系统的硬软件需要业务区分或拆分分析的需求下,该模式已经不适用。
此类分光或分路应用,特点是成本低但不够灵活,适用千兆和万兆带宽,对业务数据采取粗放分发和管理模式,并要能对出口区域有单点故障风险有极高承受能力环境。
第三种,是交换机的镜像SPA功能,也是现有和当前很多环境习惯使用的技术,此类SPAN有以下特点:传统网络设备镜像资源有限,业界网络厂家绝大部分只能使用BCM的芯片,所以相关特性都是基本一致的,N(目的源接口):M(镜像目的接口)最大值不大于4,在基于MPLS OAM和BFD等复杂应用环境下,N和M的值还要减少1-2。意味着同一端口或流量最多复制4份。如果有8个或更多的分析系统需要部署,那就出现了典型分流资源瓶颈。二是镜像功能普遍是低于交换机普通转发的优先级,会造成丢包和延迟的风险。
此类交换SPAN数据分流应用,特点是使用率高,但受制于应用规模和业务要求,千万兆比较常见,数据管理不够精细,不能做到高级的数据分流管理应用,因此适用于分析系统少于4的小型数据分析或安全分析的环境。
第四,就是现阶段适应数据分析和数据流管理的专业数据分流器。分流系统解决基础网络流量调度的限制多、扩展能力弱等问题。它除了覆盖具备了上述传统分流的基本属性,更多是增强并扩展了高级应用。例如,数据筛选功能在数据包层级,选择发送何种数据包到指定的监测端口。数据过滤功能通过特定的协议过滤,如HTTP、VoIP或其他。会话负载功能基于会话的、数据流感知的负载均衡可以捕获10GE的网络并根据用户自定义的会话条件,自动均衡到多个1G监测工具。
网络分流器的缺点是造价高,不具备交换机的学习转发模式,不适用于串接在网络中使用。优势在于不受制于应用规模和业务要求,数据管理能够精细到协议区分采集,或截断脱敏等高级采集和管理应用,适用于分析系统规模大于4至更多数据分析或安全分析的环境,以及需要精细化数据管理的业务环境。
由于从产品外观、功能实现来看,交换机和分流器具备较多的相似性,而两者方案存在较大差别成本差异,因此很多用户对两者之间的关系存在很多困惑,因此接下来我们重点在网络数据分流器和网络交换机之间关系、区别和应用定位等几个方面来说明主要差异,以及说明在数据分析或安全数据管理的环境下,为什么需要专业的分流系统来实现相关业务部署和落地。
网络分流器和交换机的关系和区别
网络交换机负责网络流量的转发,串接整个网络,是学习建立各类转发表项,再尽力转发,主责是流量转发。
数据分流设备,普遍Bypass旁挂在网络侧,实现数据流的识别采集、扩展复制和策略分发,主责是流量管理。
交换机和分流设备在基础的流量管理上,都具备流量复制的功能。而网络分流器除了具备更强大的流量汇聚、复制功能外,还具备精细化的流量管理功能,这些是传统网络交换机不具备的。网络交换机已不适用当前阶段,网络流量的识别、汇聚、复制等多要求的技术需求。
随着云计算、大数据业务的各种业务的部署应用,传统的流量调度和管理也显示出各种不适应。云计算和大数据的技术应用,从传统南北数据流,到现在网络内部大量的东西流量,同时部署很多对业务可视、安全内容审计等应用系统,传统网络交换机基本SPAN已严重制约了网络平台对数据流量平滑的采集、汇聚、分流复制并做进一步管理的应用需求。
网络交换机和网络分流器应用定位不同
网络分流器和网络交换机,物理形态基本相同,会有不同的以太接口或pos接口,甚至是定制化专用数据采集口,但最重要的是流量分流和管理的应用不同。
我们看一个典型的使用环境,某省公安不同部门在不同时期建设的业务系统多达近百种,IT业务环境中常出现业务问题定位困难、排查效率低下,责任不清等问题,导致业务系统相关使用单位和对外服务窗口单位服务质量体验较差。
为了缓解和解决该现状,设计通过核心区域采集所有实时业务数据,通过“业务分析系统”进行全业务数据离线分析,实现IT问题快速定位排障、明确责任和故障原因,为运维和系统改造、优化、升级提供有效的可视化分析的决策支撑。而实际状况技术核心区某通用网络交换机的镜像资源不足,只能镜像2个目的端口(受限于芯片资源等原因),源数据口是万兆,整网业务流量较大,对分析系统的“接收、存储、处理分析性能有很高硬件要求。此时,通过分流器,实现了一份万兆全业务流量通过负载1分6均分负载到同一台分析系统I/0接口上,极大缓解了分析服务器数据采集、存储的性能压力。
网络分流器的特点
网络分流设备普遍会采用专用芯片,用深度开发的流量调度技术,在业务可视化运维或数据安全管理的环境中,解决基础网络流量调度的限制多、扩展能力弱等问题。
高级版本可以支持时间戳、端口戳、协议剥离、截断、数据包去重、碎片重整和数据矩阵等构建功能。
这些都是专业分流特性能实现业务流量正确、按需的方式传递给所需的分析系统,才能配合实现后续高效、快捷的问题定位、安全回溯,业务分析等应用。数据分流器在满足上述需求的同时,更具有不影响原有业务网络、端口密度高、关键数据脱敏等技术优势。这也是传统粗放式数据管理分流所不具备的特点。
因此大数据时代的IT信息化环境中,如何管理调度好流量,专业的戎腾分流器是诸多行业场景较好的选择。是国产专业网络分流器的典型代表。
戎腾网络有四大产品线: 固网分流器产品线,移动互联网分流器产品线,智能网卡产品线,警用装备产品线!
无论是固网分流器还是移动互联网分流器从有外形上有盒式1U设备,框式ATCA机箱
盒式的有TC系列:主要针对学校和企业 用于千兆万兆的汇聚分流 满配支持24个千兆和8个万兆
LITE系列:主要针对运营商 满配支持48个万兆和4个100G
PET系列:主要针对公安 满配支持48个万兆或者4个100G
TVS系列主要针对银行
框式ATCA机箱: 有1槽,2槽,4槽,6槽,7槽,14槽的
主要95系列,96系列,97系列,98系列.其中95系列是一款普通的ATCA机箱网络分流器,像95系列14槽的满配支持384个万兆和24个100G
96系列跟98系列主要针对公安,
97系列主要针对运营商核心枢纽机房,IDC,政府,大数据等领域,像97系列14槽的满配支持480个万兆和76个100G
移动互联网分流器我们RT戎腾系列, 主要是ATCA机箱6槽的! 满配支持120个万兆,3200万用户,我们的关联成功率高达99%
我们的产品可以满足全方位的客户需求! 技术咨询业务合作请与作者联系: 1877405--5368
作者声明:更多解决方案可以与作者联系,共同交流,共同成长!
原文地址:http://blog.51cto.com/13853577/2140155