搞存储的，不懂存储接口，那简直是笑谈，本文将跟踪当今业界主流的存储接口。关于存储接口的详细技术细节，可以在后续文章中描述。
|
存储网络接口 |
||||||
|
设备数 |
最远距离(M) |
线缆类型 |
接口设备 |
传输速率(MB/sec) |
接口属性 |
|
|
FC |
16M |
10 (铜) 10KM+ (光纤) |
铜； 光纤 |
HBA |
100, 200, 400, 800, 1600 |
双口 |
|
FCoE |
16M |
10 (铜) 非常长(光纤) |
铜； 光纤 |
CNA 10GbE NIC |
1150 |
双口 |
|
IB |
48M |
15 (铜) 非常长(光纤) |
铜； 光纤 |
HCA |
1000, 2000, 4000, 7000 |
全双工, 双口 |
|
iSCSI |
许多 |
以太网线缆距离 |
铜； 光纤 |
NIC, HBA |
100, 1000 |
|
|
SAS (passive) |
16K |
10 |
铜 |
Onboard, HBA |
300, 600, 1200 |
全双工, 双口 |
|
SAS (active) |
16K |
20 |
铜 |
Onboard, HBA |
300, 600, 1200 |
全双工, 双口 |
|
SAS (active) |
16K |
100 |
光纤 |
Onboard, HBA |
300, 600, 1200 |
全双工, 双口 |
|
SATA |
1 |
1 |
铜 |
Onboard, HBA |
150, 300, 600 |
半双工，单口 |
|
Thunderbolt |
6 |
4 |
铜 |
Onboard |
1000, 2000 |
|
|
USB |
127 |
5 |
铜； 无线 |
Onboard, Adapter card |
0.15, 1.5, 48, 500 |
单口 |
- 编码机制
IBM 发明的8b/10b编解码机制，在很长一段时间里面，都作为通信领域的一个默认标准。直到2010年出现10GbE和10GbFC之后，新的64b/66b 编解码机制才被用于提高传输效率。伴随速率的进一步翻倍应用需求的提出，更新的编解码机制被提出来，其中有已经市场化的128b/130b和128b/132b 两种。
其无效传输损耗比如下表所示：
|
编码表 |
||
|
Overhead |
Applications |
|
|
8b/10b |
20% |
1GbE, FC (up to 8Gb), IB (SDR, DDR & QDR), PCIe (1.0 & 2.0) SAS, SATA, USB (～3.0) |
|
64b/66b |
3% |
10GbE, 100GbE, FC (10Gb & 16Gb), FCoE, IB (FDR & EDR) |
|
128b/130b |
1.5% |
PCIe 3.0, 24Gb SAS (很可能) |
|
128b/132b |
3% |
USB 3.1 (10 Gbps) |
|
光纤速率表 |
||||
|
吞度量(MBps) |
线速 (GBaud) |
编解码 |
适配器要求（双口） |
|
|
1GFC |
100 |
1.0625 |
8b/10b |
PCI-X |
|
2GFC |
200 |
2.125 |
8b/10b |
PCI-X |
|
4GFC |
400 |
4.25 |
8b/10b |
PCI-X 2.0 or PCIe 1.0 x4 |
|
8GFC |
800 |
8.5 |
8b/10b |
PCIe 1.0 x8 or PCIe 2.0 x4 |
|
16GFC |
1600 |
14.025 |
64b/66b |
PCIe 2.0 x8 or PCIe 3.0 x4 |
|
32GFC |
3200 |
28.05 |
64b/66b |
PCIe 3.0 x8 |
|
InfiniBand速率表 |
|||||
|
1X data rate |
4X data rate |
12X data rate |
编码 |
适配器要求（双口） |
|
|
SDR |
2 Gb/s |
8 Gb/s |
24Gb/s |
8b/10b |
PCIe 1.0 x8 |
|
DDR |
4 Gb/s |
16Gb/s |
48 Gb/s |
8b/10b |
PCIe 1.0 x16 or PCIe 2.0 x8 |
|
QDR |
8 Gb/s |
32 Gb/s |
96Gb/s |
8b/10b |
PCIe 2.0 x8 |
|
FDR-10* * Mellanox only |
10.3125 Gb/s |
41.25 Gb/s |
123.75 Gb/s |
64b/66b |
PCIe 3.0 x8 |
|
FDR |
13.64 Gb/s |
54.55 Gb/s |
163.64 Gb/s |
64b/66b |
PCIe 3.0 x8 |
|
EDR |
25 Gb/s |
100 Gb/s |
300 Gb/s |
64b/66b |
PCIe 3.0 x16 |
InfiniBand
连接依赖于应用程序和连接器，可以被聚合成4×或者12×通道。QSFP和QSFP+连接器采用4×，而CXP则采用12×。
存储接口的发展历史
近几年接口产品的发展迅速，一些新的接口速率在应用于存储设备和存储系统之前，往往会在交换机和适配器产品上首先应用。
· FC —
1Gb/s in 1997, 2Gb/s in 2001, 4Gb/s in 2005, 8Gb/s in 2008, 10Gb/s (ISL only) 2004, 16Gb/s in 2011 (FC 向后兼容2代)
· FCoE —
FC:4Gb/s and Ethernet:10Gb/s in 2008, 10Gb/s in 2009. (FC-BB-5 在2009年6月核准, INCITS 462-2010 在2010春季核准)
· IB —
10Gb/s in 2002, 20Gb/s in 2005, 40Gb/s in 2008, 56Gb/s in 2011
· iSCSI —
1Gb/s in 2003, 10Gb/s in 2007
· NVMe —
Version 1.0 规范发布于2011年3月. Version 1.1 发布于2012年10月. Version 1.2 发布于2014年11月.
· SAS —
3Gb/s in 2005, 6Gb/s in 2009, 12Gb/s in 2H 2013
· SATA —
1.5Gb/s in 2003, 3Gb/s in 2005, 6Gb/s in 2010 (传统SATA 不会期望会有6Gb/s产品 )
·SATA μSSD
在2011年8月份作为针对嵌入SSD新的SATA实现。这些设备不拥有传统SATA 接口连接器但是采用一个BGA（ball grid array）包直接挂载在系统主板上。这些SATA μSSD 可以用于平板电脑或者超级本等移动平台，这明显比传统SATA接口设备消耗更少的电能。
· Thunderbolt — 10Gb/s in 2011, 20Gb/s in late 2013 乔布斯和Intel 合力推出的一个新传输接口，目前在Iphone 设备上比较常见。
· USB — 1.5Mb/s in 1997?, 12Mb/s in 1999?, 480Mb/s in 2001?, 5Gb/s in 2009
存储接口发展路标
· Ethernet
25G/50G Ethernet Consortium和IEEE 802.3 25Gb/s Ethernet Study Group两个工业组织在去年7月份宣称它们均致力于新一代基于单通道25Gb PHYs的以太网规范，而这些事必影响FCoE和iSCSI 块协议。在2015年底到2016年初，我们或许可以在市场上看到实体产品。
· FC
32Gb/s FC标准--FC-PI-6 ，最早开始于2010年，在2013年12月，FCIA（光纤通道工业协会）宣称已经完成该规范。32GFC 产品因此也被期望能够在今年或者明年面市。而作为多通道的128GFC接口，aka 128GFCp，则是基于单通道32GFC，聚合4个并行通道。T11 委员会已经确认了FC-PI-6P规范制定的项目工程，同样，该产品也可能于今明两年面市，并且该接口也会采用QSFP+和CFP2或者CFP4连接器。32GFC和128GFCp都属于第六代光纤协议标准，主要也就是串/并 配置差异而已。
64GFC已经处于FCIA 速率路标中，但是T11委员会尚未启动相关协议制定。
· FCoE
在2014年8月份，T11委员会已经完成FC-BB-6协议标准，FC-BB-06 包含VN2VN和Domain_ID可扩展两个重要协议增强部分。VN2VN允许在FCoE网络中建立直接的端到端虚拟连接。而Domain_ID可扩展则可以促使FCoE网络与更大的SAN网络汇聚。
40Gb/s速率遭遇FC的32Gb/s速率，在传输领域，可谓是精彩，到底是32Gb/s 的高效率/稳定/安全的FC，还是选择有着广泛基础的以太网，接口相关厂商都是比较紧张的，特别是近些年的各类适配器和交换机厂商，都力图在两个领域同时发力，避免战略性失误导致万劫不覆。IEEE 802.3ba在2010年就已经完成40Gb/s和100Gb/s以太网标准。40Gb FCoE 和100Gb FCoE 主要应用于ISL核心（Inter-Switch Link），这些主要是交换机厂商关注，比如Brocade 和Cisco。10Gb FCoE 还是依然保留作为边缘交换汇聚使用。未来的100G FCoE 线缆会同时采用10×10 和4×25 两种配置。
· IB
EDR（Enhanced Data Rate）在2014年末面市，它采用和和以太网和光纤通道相同的25G/28G技术，而InfiniBand 的HDR（High Data Rate），两倍速率于EDR，希望2017年可以面市。
· iSCSI
iSCSI 协议以来以太网，故其路标与FCoE 一致。
· NVMe
企业级NVMe SSD终于在去年面市，今年将继续高速发展。全BIOS 支持的NVMe 设备也逐渐与消费者见面。2014年9月份出现的NVMe over Fabics，将有效连接Ethernet，FC，Infiniband和Intel Omni Scale。首个fabric 定义的协议将是在以太网（包含iWARP 和RoCE两种）和Infiniband 经过产品化的的RDMA协议。预计2015年下半年，这些将合入NVMe 规范中。
· SAS
12Gb/s SAS
SAS 3 规范包含12Gb/s SAS。2013年下半年新发布SAS产品中就包含连SAS接口的SSD，SAS HBA和RAID 控制器。它主要依赖PCIe 3.0 总线。
24Gb/s SAS
24Gb/s SAS规范目前正在制定开发中，预计2018年我们会看到实物。24Gb/s SAS 可以后向兼容12Gb/s和6Gb/s SAS。目前协议开发还是参考PCIe 3.x 技术，不过我们可以预想最终的24Gb/s SAS 还是会采用PCIe 4.0技术。
SCSI Express
SCSI Express 提供知名的SCSI over PCI Express 接口，利用PCIe 的低延迟特性。它的设计目的就是提高SSD的性能，它采用SOP-PQI协议，该协议包含SOP（SCSI Over PCIe）和PQI（PCIe Queueing Interface）协议。SCSI Express 控制器采用Express Bay SFF-8639 多功能连接器连接设备，该连接器支持多种协议和接口，比如PCIe，SAS 和SATA。SCSI Express 规格首个版本在去年2月份已经发布。
SAS Advanced Connectivity
新SAS 线缆可以使用有源铜缆和光纤支持更远的距离。支持6Gb/s SAS 的Mini SAS HD连接器，也可以用于12Gb/s SAS.
· SATA
SATA Express
包含在SATA 3.2修订版本中,它能够将SATA和PCIe共存变为现实,它将支持2通道的PCIe(1GB/s 的PCIe2.0 和2GB/s 的PCIe3.0),同时兼容当前0.6GB/s 的SATA技术。这些速率将适合SSD和SSHD技术，也能够让传统的HDD技术能够继续使用现在的SATA接口。不过， 在同一时刻，只能支持SATA 和PCIe中的一种。
· Thunderbolt
Thunderbolt 2 在2013年就已经名声在外，它被设计用来支持异构的计算机间的数据传输，目前采用的是PCIe2.0 ，未来会采用PCIe3.0。
· USB
USB 3.0 Promoter Group在2013年7月宣布发布USB 3.1规范。USB 3.1 可以是USB支持10 Gbps速率，同时还能够兼容USB 3.0和2.0的设备。另外，它还是支持USB 功率输送，所以会采用一种新型的连接器。
USB Power Delivery
USB 将变为一个功率输送的接口，通过USB 端口来针对连接设备的功率输送。2012年发布的PD （Power Delivery）1.0版本，允许通过USB来增加功率值。该规范建议根据连接线缆和连接器类型，限制功率从7.5瓦特到100瓦特。设备间自行协商电压和功能传输级别，并且支持功能传输方向可变，连接的设备可以在传输数据时自适应充电速率。
SAS-SATA Connector Compatibility
Express Bay Connector Backplane
SATA Express Connector Mating Matrix
来源: SATA-IO
线缆：光纤和铜缆
铜缆因为其比较高的振幅损失，仅在短距离内才能获得有效传输，故常用于机柜内和机柜间设备间连接。
光纤线缆一般可分为：单模光纤和多模光纤
· Single-mode fiber (SMF）
单模光纤内核直径9微米，拥有比多模光纤较低的模态色散，所以能够支持80-100KM的距离，甚至更长。距离的长短，与传输速率，光模块和交换机的buffer Credits数值相关。
· Multi-mode fiber (MMF)
多模光纤核心直径有50微米和62.5微米两种，最大距离支持为600米。距离的长短，依然与传输速率/光模块相关。一般情况下，两种光纤的价格相差不大，但是，在某些应用中，单模光纤要贵很多。
多模：OM1，OM2，OM3，OM4
单模：OS1，OS2
OM3和OM4是多模光纤中较新的，支持10Gb 以太网应用。同样也支持IEEE 802.3ba 的40G/100G 以太标准。OM4 还被期望来支持32GFC，最大距离100M。
LOMMF：laser optimized（激光优化）
BOMMF：bend optimized（弯曲优化）
TIA（Telecommunications Industry Association Engineering Committee）对数据中心的通信基础标准制定的TIA-942-A规范中要求：
铜缆：cat6是最低要求，推荐Cat6a
光纤线缆：OM3最低要求，推荐OM4
光纤连接器：LC类型，单发或者双发
10Gb Ethernet Fiber-Optic Cables
· 10GBASE-SR
目前最常见的光纤10GbE 线缆是10GBASE-SR线缆，支持SFP+连接器
· 10GBASE-LR
支持单模光纤
|
光纤线缆特征 |
|||||
|
模式 |
核径 |
波长 |
模宽 |
线缆表皮色 |
|
|
OM1 |
多模 |
62.5 μm |
850 nm 1300 nm |
200 MHz |
橙色 |
|
OM2 |
多模 |
50 μm |
850 nm 1300 nm |
500 MHz |
橙色 |
|
OM3 |
多模 |
50 μm |
850 nm 1300 nm |
2000 MHz |
湖绿色 |
|
OM4 |
多模 |
50 μm |
850 nm 1300 nm |
4700 MHz |
湖绿色 |
|
OS1 |
单模 |
9 μm |
1310 nm 1550 nm |
— |
*** |
|
光纤线缆支持距离和速率 |
||||
|
OM1 |
OM2 |
OM3 |
OM4 |
|
|
1 Gb/s |
300m |
500m |
860m |
|
|
2 Gb/s |
150m |
300m |
500m |
|
|
4 Gb/s |
70m |
150m |
380m |
400m |
|
8 Gb/s |
21m |
50m |
150m |
190m |
|
10 Gb/s |
33m |
82m |
～300m |
～400m 1 |
|
16Gb/s |
15m 1 |
35m 1 |
100m 1 |
125m 1 |
OM1线缆不推荐用于16GFC，非要使用的话，也最好控制在15米内。
Active Copper vs. Passive Copper
无源铜连接器搭配许多接口，工业应用中，无源铜缆无法提供需要的距离和占用太多的物理空间。所以，目前的发展方向，还是朝有源铜接口，用以提供高速连接，比如6Gb/s SAS。
1000BASE-T
线缆通常用于1Gb 以太传输（含1Gb iSCSI），连接器就是常见的RJ45，线缆也常被称为cat5e或者Cat6线缆。
10GBASE-T
支持10Gb 以太网流量（包含10Gb iSCSI），线缆是Cat6a，也称为Class EA线缆。Cat7线缆也能够兼容10GBASE-T。FCoE 应用最好不要采用该类型线缆。一些比较新的10GbE交换机有支持10GBASE-T连接器的（RJ45）。
10GBASE-CR
最常见的10GbE铜缆就是10GBASE-CR线缆，它支持一个附加SFP+连接器，也称为DAC（Direct Attach Copper）。许多10GbE交换机支持SFP+连接器，同时支持铜缆和光纤线缆。这些线缆有1M,3M，5M，7M，8.5M等等。最常见的是3M和5M的。
10GBASE-CX4
这种线缆比较老了，和infiniband 技术应用的线缆类似。
连接器类型
|
SFP+ QSFP+ 连接器 |
|||
|
SFP |
SFP+ |
QSFP+ |
|
|
Ethernet |
1GbE |
10GbE |
40GbE |
|
Fibre Channel |
1GFC, 2GFC, 4GFC |
8GFC, 16GFC |
— |
|
InfiniBand |
— |
— |
QDR, FDR |
|
类型 |
通道数 |
单通道最大速率（Gbps） |
总最大速率（Gbps） |
线缆类型 |
应用 |
|
|
Mini SAS |
SAS |
4 |
6 |
24 |
铜缆 |
3Gb, 6Gb SAS |
|
Mini SAS HD |
SAS |
4, 8 |
12 |
48, 96 |
铜缆 |
6Gb, 12Gb SAS |
|
Copper CX4 |
CX4 |
4 |
5 |
20 |
铜缆 |
10Gb Ethernet, SDR 和and DDR InfiniBand |
|
Small Form-factor Pluggable |
SFP |
1 |
4 |
4 |
铜缆 光纤 |
1Gb Ethernet, Fibre Channel: 1, 2, 4Gb |
|
Small Form-factor Pluggable enhanced |
SFP+ |
1 |
16 |
16 |
铜缆 光纤 |
10Gb Ethernet, 8Gb & 16Gb Fibre Channel, 10Gb FCoE |
|
Quad Small Form-factor Pluggable |
QSFP |
4 |
5 |
20 |
铜缆 光纤 |
Various |
|
Quad Small Form-factor Pluggable enhanced |
QSFP+ |
4 |
16 |
64 |
铜缆 光纤 |
40Gb Ethernet, DDR, QDR & FDR InfiniBand, 64Gb Fibre Channel |
|
CXP |
CXP |
10, 12 |
10 |
100, 120 |
铜缆 |
100Gb Ethernet, 120Gb other |
|
CFP |
CFP |
10 |
10 |
100 |
光纤 |
100Gb Ethernet |
InfiniBand Data Rates
SDR：单倍速率，DDR：双倍速率，QDR：四倍速率，FDR：十四倍速率，EDR：增强速率
|
Connector 图 |
||
|
Type |
图 |
|
|
Mini SAS |
SAS |
|
|
Mini SAS HD |
SAS HD |
|
|
Copper CX4 |
CX4 |
|
|
Small Form-factor Pluggable |
SFP, SFP+ |
|
|
Quad Small Form-factor Pluggable |
QSFP, QSFP+ |
|
Mini SFP
2010年的下半年，一种新的SFP/SFP+连接器的变种被用于光纤骨干刀片和高密以太网核心交换机，它们被称为mSFP，mini-SFP或者是mini-LC SFP，它们要比SFP/SFP+连接器更窄，上图可以看出两者的差异。
CXP and CFP
CXP（铜）和CFP（光纤）连接器被用于交换机间互联。CFP当前支持10×10（10 通道×10Gbps）的连接。而CFP2是CFP的的一个小版本，以更低的功率输出支持10×10连接。未来的CFP4连接器被设计用来支持25/28G连接器和支持4×25.
PCI Express (PCIe)
PCI Express，也称为PCIe，2003年发布第一个PCIe 规范版本，后来在2007年发布了2.0，随后2010年的时候，3.0版本也发布了。
|
PCIe |
|||||||
|
GT/s |
编解码 |
x1 |
x2 |
x4 |
x8 |
x16 |
|
|
PCIe 1.x |
2.5 |
8b/10b |
250 MB/s |
500 MB/s |
1 GB/s |
2 GB/s |
4 GB/s |
|
PCIe 2.x |
5 |
8b/10b |
500 MB/s |
1 GB/s |
2 GB/s |
4 GB/s |
8 GB/s |
|
PCIe 3.x |
8 |
128b/130b |
1 GB/s |
2 GB/s |
4 GB/s |
8 GB/s |
16Gb/s |
PCIe 4.0
2011年11月，PCI-SIG组织宣称PCIe4.0 支持16GT/s。预计2016年可以发布0.9版本，但是最终产品面市时间将更加靠后，也许在2018年可以看到吧
OCuLINK
OCuLINK 被设计为一种针对PCIe内外设备的低耗小型SFF，它提供8Gbps速率，拥有空间扩展和独立时钟集成，支持PCIe3.0 的X1，X2，X4通道。对于无源线缆，可以达到2-3M，有源线缆，可以达到3-10M，而光纤，可以达到300M。预计它的规范将在2015年春季完成。
I/O Virtualization
2008年，PCI-SIG组织宣称完成I/O 虚拟化规范，包含SR-IOV（Single-root IOV）和MR-IOV（multi-root IOV）。这些技术主要应用于系统虚拟化，可以让多操作系统直接访问本地化PCIe设备。目前SR-IOV 已经被主流市场的10GbE NIC和hypervisors支持。