多功能PCIE交换机之一:概述

多功能PCIE交换机之一:概述

作为服务器或者系统升级的重要方法,横向扩展越来越时髦,越来越多的厂家利用这种方法来实现产品的升级。传统网络、InfinBand、PCIE都可以用来帮助实现横向扩展,这里着重介绍基于PCIE技术实现的横向扩展和容错设计。基于PCIE实现横向扩展和容错设计离不开PCIE多功能交换机。所谓多功能PCIE交换机,指的是一种拥有多个PCIE桥、支持多种配置、自带非透明桥甚至DMA功能的配置灵活、管理方便的芯片。

为了便于读者有更直观的认识,后面都以PLX某款多功能PCIE
switch为例进行介绍。它是一款完全非阻塞、低延长、低功耗高性价比的具备16-lan、10-port的多根节点的PCIE
switch。由于它端口多,配置灵活,既支持虚拟桥,又支持非透明桥(NTB)和透明桥(TB),还自带了四个DMA通道,因此被广泛应用在服务器双活、多活的容错设计上。

它上面的多达10个能作为root
port的节点,既是为了支持多个virtual
switch,又是为了有更强大的扩展性,能从一个上游PCIE
complex扩展出多个PCIE
bridge,进而能够让服务器连接更多PCIE设备和桥。说他配置灵活,是因为它既支持只有一个root
port的基本模式,又支持具有多个root
port的virtual
switch模式。而自带的NTB,让这宽芯片具有了支持failover/scale
out的能力,用户能够根据实际需要选择来实现Active-Active还是Active-Pastive;四个可以灵活配置的DMA通道,可以融合成一个、两个或者四个DMA设备,让他具备了跨节点的数据搬运能力,同时还提供了多时运行DMA的能力。

远不止上面提到的常用到的这些特性之外,这款芯片还支持PCIE
virtual class、智能电源管理、兼容热插拔设计、PCIE
AER、额外可编程的EEPROM、debug寄存器,使得他非常容易配置、调试、使用和更新。限于篇幅,这里不能逐一展开。

为了让读者对一些重要的特性有一个比较全面和直观的了解,后面将陆续用专题的形式从NTB、DMA、Virtual
Switch、EEPROM、ASPM分别进行比较具体的介绍,敬请期待。

时间: 2024-08-20 23:51:57

多功能PCIE交换机之一:概述的相关文章

多功能PCIE交换机之九:单NT系统中需要注意的问题

多功能PCIE交换机之九:单NT系统中需要注意的问题 1.单NT与双NT系统差异 NTB通常用在双控或者多控的系统上,用来实现跨节点的数据传输.在由多个节点构成的系统上,通常每个节点上都有一个NTB芯片,以实现全系统地址空间划分和路由.顾名思义,单NT是指用一个PCIE非透明桥来实现节点间数据传输的方案,通常用在两个节点之间.和多NT的系统相比,这种方法实现相对比较简单,成本较低,开发周期较短,能够缩短整个系统的关键功能和性能的验证周期. 2.单NT系统的实现 单NT的实现需要结合整个系统的设计

多功能PCIE交换机之六:基于NTB夸节点的读写

多功能PCIE交换机之六:基于NTB夸节点的读写优化 1.基于NTB跨节点读写的应用的特点 NTB常常用在要求高性能和高可靠性的场合,用来实现跨节点数据的传输.比如用作虚拟网卡.跨节点数据同步通道等,这些场合都期望充分发挥NTB基于PCIE的高速传输特性,最大限度地提高系统性能. 2.基于NTB跨节点读写的两种实现方式 实现地址转换.建立NTB通道之后,有两种实现NTB跨节点传输数据的方式: 基于CPU实现数据传输 基于NTB DMA实现数据传输 前者依赖CPU去搬运数据,会占用CPU周期,但非

多功能PCIE交换机之五: 基于NTB的DMA

如果说PCIE多功能桥中的NTB为跨节点的数据传输铺好路.架好桥的话,那么PCIE多功能桥中的DMA就是多个节点之间的高铁和航班.没有NTB打通数据通道,DMA也不可能跨越节点.但没有DMA的话,NTB还是可以依赖CPU来在多个节点之间搬运数据.因此DMA对NTB而言是如虎添翼.锦上添花. 和NTB的单NT和双NTB配置相比,DMA可配置的选项比较多,但不管是中断模式.查询模式,也无论描述符是在DMA控制器片上还是片外,亦或配置成单个还是多个DMA channel,都有现成的代码可供参考或寄存器

多功能PCIE交换机之三:数据迁移及其cache一致性

关于PCIE非透明桥 cache一致性PCIE非透明桥提供了两种机制来从local node往remote node迁移数据,分别是基于地址映射和内嵌的 DMA.对remote节点而言,当它接受数据的时候,CPU可能是不知情的,因此需要保证cache一致性: 对local节点,当通过DMA往它自己的内存传输数据时,本地的CPU也不会被通知,因此需要考虑cache 一致性. 不同的平台实现Cache一致性的机制不一样,ARM平台需要软件参与,而IntelX86平台硬件能够自动维 护cache一致性

多功能PCIE交换机之八:窗口扩展和驱动加载的常见问题

结合本人在PCIE NTB/DMA最近的实际工作,总结了地址转换窗口扩展和驱动加载过程中碰到的主要问题和解决办法. 0.系统启动后看不到NTB设备 需要检查BIOS,在PCIE设置里面NTB芯片是否使能.这是因为针对不同的应用场景和客户需要,BIOS里面通常添加了Enable/Disable NTB的选项. 1.如何扩展地址转换窗口 a.确定系统要求的地址转换窗口的范围和大小: b.确保系统要求的地址转换窗口的范围和大能够被BIOS支持 c.从可用的BAR2/3和BAR4/5中选择未使用的或者可

多功能PCIE交换机之二:EEPROM恢复与故障排除

作为实现failover的重要器件,8717PCIE switch既支持virtual switch mode, 也支持basic mode,此外它的DMA.地址窗口也有不同的配置方式.而多块8717卡既可组合成单NT的Active-Passive模式,也可以组合成双NT的Active-Active模式,而这些都依赖于 8717 switch上的EEPROM的正确设置.因此,在调试阶段,工程师常常需要修改它的设置,一有不慎,就可能烧入错误的EEPROM设置,导致PCIE switch无法正常工作

AD DS功能浅析--AD DS概述

说起AD DS我们不仅会有这样的疑问,它到底是什么东东,有什么功能以及它可以给我们的工作带来什么等等一系列的问题,下面我将一一为大家解释一下(个人见解,欢迎讨论交流~) AD DS是什么? 说到AD DS不得不提一下微软的服务器操作系统:Windows sever操作系统,相信有点IT基础的朋友都应该知道win server 2003.Win server 2008 R2.Win server2012等系列的操作系统.这些操作系统一般都会安装在公司购买的服务器中,这些服务器用于提供公司不同的应用

交换机安全

PVLAN PVLAN端口了类型 1.孤立端口(Lsolated):孤立端口完全与同一个PVLAN中的其他端口相隔离,唯一的例外是它能与杂合端口进行通信.PVLAN会阻塞所有去往孤立端口的流量,只有从杂合端口发过来的流量才会放行.而孤立端口收到的流量也之会发生给杂合端口 2.杂合端口(Promiscuous):杂合端口可以与所有VLAN中的端口进行通信,包括团体端口和孤立端口.杂合端口只是主VLAN的一部分,但是每个杂合端口都可以对应一个以上的辅助VLAN.杂合端口一般是路由器端口.备份或共享的

详解华为交换机iStack特性

转自:http://blog.csdn.net/lycb_gz/article/details/16838799  摘录于<华为交换机学习指南> 5.1.2  iStack特性的产品支持 iStack也就是我们平时所说的“堆叠”,但是华为交换机的iStack功能与其他厂商的交换机堆叠功能相比又有许多不同.在最新的Sx700大系中,只有S2700.S3700.S5700和S6700系列支持iStack堆叠功能,但这些系列中也并不是所有机型都支持,而且S2700/3700系列与S5700/6700