Infiniband基本知识

InfiniBand架构是一种支持多并发链接的“转换线缆”技术，在这种技术中，每种链接都可以达到2.5 Gbps的运行速度。这种架构在一个链接的时候速度是500 MB/秒，四个链接的时候速度是2 GB/秒，12个链接的时候速度可以达到6 GB /秒。

1                基本特征

InfiniBand技术不是用于一般网络连接的，它的主要设计目的是针对服务器端的连接问题的。因此，InfiniBand技术将会被应用于服务器与服务器（比如复制，分布式工作等），服务器和存储设备（比如SAN和直接存储附件）以及服务器和网络之间（比如LAN， WANs和the Internet）的通信。

2              概述

与目前计算机的I/O子系统不同，InfiniBand是一个功能完善的网络通信系统。

InfiniBand贸易组织把这种新的总线结构称为I/O网络，并把它比作开关，因为所给信息寻求其目的地址的路径是由控制校正信息决定的。InfiniBand使用的是网际协议版本6的128位地址空间，因此它能提供近乎无限量的设备扩展性。

通过InfiniBand传送数据时，数据是以数据包方式传输，这些数据包会组合成一条条信息。这些信息的操作方式可能是远程直接内存存取的读写程序，或者是通过信道接受发送的信息，或者是多点传送传输。就像大型机用户所熟悉的信道传输模式，所有的数据传输都是通过信道适配器来开始和结束的。每个处理器（例如个人电脑或数据中心服务器）都有一个主机通道适配器，而每个周边设备都有一个目标通道适配器。通过这些适配器交流信息可以确保在一定服务品质等级下信息能够得到有效可靠的传送。^[1]

3              作用

我们为什么需要InfiniBand？

采用Intel架构的处理器的输入/输出性能会受到PCI或者PCI-X总线的限制。总线的吞吐能力是由总线时钟决定的（比如33.3MHz，66.6MHz 以及133.3MHz）和总线的宽度（比如32位或者64位）。在最通常的配置中，PCI总线速度被限制在500 MB /秒，而PCI-X总线速度被限制在1 GB/秒。这种速度上的限制制约了服务器和存储设备、网络节点以及其他服务器通讯的能力。在InfiniBand的技术构想中，InfiniBand直接集成到系统板内，并且直接和CPU以及内存子系统互动。但是，在短期内，InfiniBand支持将由PCI和PCI-X适配器完成；这样，InfiniBand在最初将会受到总线的制约。在2002年年底，InfiniBand技术将会完全被整合在Intel服务器供应商以及Sun生产的服务器中（80%的可能性）

谁在倡导InfiniBand？

InfiniBand是由InfiniBand行业协会所倡导的。协会的主要成员是：康柏，戴尔，惠普，IBM，Intel，微软和Sun。从历史的角度看，InfiniBand代表了两种计算潮流的融合：下一代I/O（NGIO）和未来的I-O（FIO）。大部分NGIO和FIO潮流的成员都加入了InfiniBand阵营。

InfiniBand是纯硬件的吗？

不。InfiniBand的成功还需要软件--包括很多不同的层。这种技术架构和架构上的代理（服务器，存储设备，通讯设备，switch以及其他的一些设备）都需要软件管理。应用软件也必须适应这种架构。操作系统也必须进行调整以和芯片组进行最优化的通信。我们认为InfiniBand的相关软件的发展将会成为InfiniBand产品应用的一个瓶颈。但是，到2005年，80%大、中型企业都会有在数据中心环境下的正式的InfiniBand产品。

Windows 2000支持InfiniBand吗？

既支持也不支持。在InfiniBand的试制，测试阶段，对InfiniBand的支持是由设备供应商的驱动来提供的，而不是直接由操作系统来支持。而且，微软没有时间把对InfiniBand的支持加入到它的Windows 2000中。不过微软有可能在2002年第二季度把这种支持添加进来。（60%的可能性）

InfiniBand会取代线缆通道吗？

还没有计划。就象InfiniBand技术完全被整合到服务器的软件和硬件中需要时间一样，它被完全整合到存储设备和SAN中也需要时间。2003年，90%的InfiniBand服务器会采用InfiniBand-线缆通道、InfiniBand-千兆以太网或者InfiniBand- SCSI桥的方式连接网络上的外接存储。（90%的可能性）。

InfiniBand会取代千兆（或者更快的）以太网吗？

对这个问题的回答是：不会。以太网是应用于高层网络通信（比如TCP/IP）的技术，而InfiniBand是用于低层输入/输出通信的技术。即使以太网达到甚至超过了InfiniBand的速度，高层网络通信的特点使得它也不能够成为适合服务器端输入/输出的解决方案。 总结：InfiniBand架构肩负着改善服务器端输入/输出性能的使命。但是，InfiniBand不仅仅是芯片和硬件。为了发挥应有的作用，硬件和软件必须充分在操作系统，管理层以及应用层整合起来。按照技术激进程度划分，“A类型”的企业将会在2002年第二季度考虑小批量生产InfiniBand产品，而没有那么激进的企业可能会等到2003年第一季度或者更迟。

如果你还没有关注InfiniBand，那要准备好应付铺天盖地的相关信息，甚至是产品。经过多年的酝酿，和使其成为规范的努力，以及实验室的开发。InfiniBand即将横空出世。不管你最终采用InfiniBand，或是放弃，亦或是等等看看，你都要了解这种用于数据中心的新型互联技术。

InfiniBand产品正逐步进入市场，预计在2003年将有大批产品上市。由康柏、戴尔、惠普、IBM、英特尔、微软和SUN公司于1999年创建的InfiniBand行业协会(IBTA)，有180多家公司参加。这些业界巨人也组成了筹划指导委员会。自从2000年1月以来，共吸收了3亿美元的风险资金，很明显，InfiniBand是业界推出的重大项目。

存储网络界的许多大公司认为，InfiniBand将会作为PCI总线的替代品，首先出现在服务器内部。这样就很容易解释为什么他们对InfiniBand互联不热心。但是，没有什么事情是必然的。随着启动的一系列工作，InfiniBand将会很容易地进入存储网络。如果InfiniBand确实作为PCI的替代品用于数据中心，则会出现这样的情况，或者InfiniBand证明自己同样适用网络传输，或者需要进一步的开发。

这就是要关注该技术的原因。或许需要投入时间、资金，并重新规划，但是，这会潜在地改进公司的互联体系结构。

InfiniBand如何工作

InfiniBand是一个统一的互联结构，既可以处理存储I/O、网络I/O，也能够处理进程间通信(IPC)。它可以将磁盘阵列、SANs、LANs、服务器和集群服务器进行互联，也可以连接外部网络（比如WAN、VPN、互联网）。设计InfiniBand的目的主要是用于企业数据中心，大型的或小型的。目标主要是实现高的可靠性、可用性、可扩展性和高的性能。InfiniBand可以在相对短的距离内提供高带宽、低延迟的传输，而且在单个或多个互联网络中支持冗余的I/O通道，因此能保持数据中心在局部故障时仍能运转。

如果深入理解，你会发现InfiniBand与现存的I/O技术在许多重要的方面都不相同。不像PCI、PCI-X、 IDE/ATA 和 SCSI那样共享总线，因此没有相关的电子限制、仲裁冲突和内存一致性问题。相反，InfiniBand在交换式互联网络上，采用点到点的、基于通道的消息转发模型，同时，网络能够为两个不同的节点提供多种可能的通道。

这些方面，InfiniBand更像以太网，而以太网构成LANs、WANs和互联网的基础。InfiniBand和以太网都是拓扑独立──其拓扑结构依赖于交换机和路由器在源和目的之间转发数据分组，而不是靠具体的总线和环结构。像以太网一样，InfiniBand能够在网络部件故障时重新路由分组，分组大小也类似。InfiniBand的分组大小从256b到4KB，单个消息（携带I/O处理的一系列数据分组）可以达到2GB。

以太网跨越全球，InfiniBand则不同，其主要用于只有几间机房的数据中心，分布于校园内或者位于城市局部。最大距离很大程度上取决于缆线类型（铜线或光纤）、连接的质量、数据速率和收发器。如果是光纤、单模的收发器和基本数据速率的情况下，InfiniBand的最大距离大约是10公里。

如同以太网一样使用交换机和路由器， InfiniBand在理论上能够跨越更远的距离，尽管如此，在实际应用中距离要受到更多的限制。为了确保数据分组的可靠传输，InfiniBand具备诸如反应超时、流控等特点，以防止阻塞造成的分组丢失。延长InfiniBand的距离将降低这些特征的有效性，因为延迟超过了合理的范围。

为了超越数据中心的范围，其它I/O技术必须解决长距离的问题。InfiniBand厂商通过能够连接到以太网和光纤通道网络的设备来解决这个问题（光纤通道的最大距离大约为10公里，因此桥接设备使得InfiniBand能够与现存的用光纤通道连接的校园网络和城域网络的分布式数据中心相兼容）。

更高的速度

InfiniBand的基本带宽是2.5Gb/s，这是InfiniBand 1.x。InfiniBand是全双工的，因此在两个方向上的理论最大带宽都是2.5Gb/s，总计5Gb/s。与此相反，PCI是半双工，因此32位、33MHz的PCI总线单个方向上能达到的理论最大带宽是1Gb/s，64位、133MHz的PCI-X总线能达到8.5Gb/s，仍然是半双工。当然，任何一种总线的实际吞吐量从来没有达到理论最大值。

如果要获取比InfiniBand 1.x更多的带宽，只要增加更多缆线就行。InfiniBand 1.0规范于2000年10月完成，支持一个通道内多个连接的网络，数据速率可提高4倍(10Gb/s)和12倍(30Gb/s)，也是双向的。

InfiniBand是在串行链路上实现超高速率的，因此电缆和连接器相对并行I/O接口PCI、IDE/ATA、SCSI和IEEE-1284来说，接口小也便宜。并行链路有一个固有的优势，因为它的多个缆线相当于高速公路上的多个车道，但现代的I/O收发器芯片使串行链路达到更高的数据速率，并且价格便宜。这就是为什么最新的技术──InfiniBand、IEEE-1394、串行ATA、串行连接SCSI、USB采用串行I/O而不是并行I/O。

InfiniBand的扩展性非常高，在一个子网内可支持上万个节点，而每个网络中可有几千个子网，每个安装的系统中可以有多个网络结构。InfiniBand交换机通过子网路由分组，InfiniBand路由器将多个子网连接在一起。相对以太网，InfiniBand可以更加分散地进行管理，每个子网内有一个管理器，其在路由分组、映射网络拓扑、在网络内提供多个链路、监视性能方面起决定性的作用。子网管理器也能保证在特别通道内的带宽，并为不同优先权的数据流提供不同级别的服务。子网并不一定是一个单独的设备，它可以是内置于交换机的智能部件。

虚拟高速公路

为了保证带宽和不同级别的服务，子网管理器使用虚拟通道，其类似于高速公路的多个车道。通道是虚拟的，而不是实际存在的，因为它不是由实际的缆线组成的。通过使用字节位元组，并根据不同的优先权，同一对缆线可携带不同分组的片断。

开发中的标准：

产品 物理I/O 主要应用 最大带宽 最大距离

InfiniBand 1x 串行存储

IPC 网络 2.5Gb/s 10公里

InfiniBand 4x 串行－多链路 存储、IPC、网络 10Gb/s 10公里

InfiniBand 12x 串行－多链路 存储、IPC、网络 30Gb/s 10公里

光纤通道 串行存储

IPC 网络 2Gb/s 10公里

Ultra2 SCSI 16位并行 存储 0.6Gb/s 12米

Ultra3 SCSI1 6位并行 存储 1.2Gb/s 12米

IDE/Ultra ATA 100 32位并行 存储 0.8Gb/s 1米

IEEE-1394a (FireWire) 串行 存储 0.4Gb/s 4.5米

串行 ATA 1.0 串行 存储 1.5Gb/s 1米

串行连接SCSI 串行 存储 未定义 未定义

PCI 2.2 (33/66MHz) 32/64位并行 底板 1 / 2 Gb/s 主板

PCI-X 1.0 (133MHz) 64位并行 底板 8.5Gb/s 主板

PCI-X 2.0 (DDR-QDR) 64位并行 底板 34 Gb/s 主板

InfiniBand 1.0定义了16个虚拟通道，0到15通道。通道15预留给管理使用，其它通道用于数据传输。一个通道专用于管理可以防止流量拥塞时妨碍网络的正常管理。比如，网络随时准备改变其拓扑结构。InfiniBand设备是热插拔的，从网络中拔出设备时要求网络迅速重新配置拓扑映射。子网管理器使用通道15来查询交换机、路由器和终端节点其有关配置的改变。

除了数据虚拟通道外预留虚拟管理通道，这就是带内管理。InfiniBand也提供带外管理的选项。在InfiniBand的底板配置中，管理信号使用独立于数据通道的特殊通道。底板配置更多用于服务器内和存储子系统，同样地，PCI和PCI-X的底板也位于此。

除了虚拟通道上直接传输，子网管理器也可以对两个节点之间的点对点的通道调整并匹配数据速率。比如，如果一个服务器有一个到网络的4倍的接口，而发送数据的目标存储子系统只有1倍的接口，交换机能够自动建立兼容的1倍通道，而不丢失分组和阻止更高速率的数据传输。

实现InfiniBand

InfiniBand不是必须要取代现存的I/O技术。但会造成相关的争论，因为其它的I/O标准也有很多的支持者，而且许多公司已经对这种传统的技术进行大量的投资。在计算机业界，每一种新技术的出现都倾向于将其它的技术规类于传统的范畴。至少在理论上，InfiniBand能与PCI、PCI-X、 SCSI、 光纤通道、IDE/ATA、串行 ATA、 IEEE-1394以及其它在数据中心存在I/O标准共存。相反，3GIO和HyperTransport是板级的互联，而快速I/O和致密PCI主要用于内嵌式系统。

为了与其它的I/O技术协同工作，InfiniBand需要能匹配物理接口和转换通信协议的桥接适配器。举例来说，Adaptec正在测试能将InfiniBand连接到串行ATA和串行SCSI的磁盘接口。然而，不要假定你需要的桥接设备已经存在，并且经过实际工作的验证、价格可行。

另一个要考虑的是性能问题。连接两种不同的I/O标准通常要增加数据通道的延迟。在最坏的情况下，将InfiniBand网络引入到一个已经安装多个不同技术组成的网络中，如果组织管理差，会降低其整体性能。InfiniBand的支持者声称理想的解决方案是完整的InfiniBand体系结构。任何部件都可以直接连接到InfiniBand网络，可以使用优化的文件协议，最好是使用直接访问文件系统(DAFS)。

DAFS独立于传输，是基于NFS的共享式文件访问协议。它是优化过的，用于1到100台机器的集群服务器环境中的I/O密集、CPU受限、面向文件的任务。典型的应用包括数据库、web服务、e-mail和地理信息系统(GIS)，当然也包括存储应用。

IT管理员感兴趣的其它的与InfiniBand相关协议是：SCSI远程直接内存访问(RDMA)协议、共享资源协议(SRP)、IP over InfiniBand (IPoIB)、直接套节字协议(SDP)、远程网络驱动接口规范(RNDIS)。

SRP的开发在一些公司进展顺利，比如，已经开发出早期版本并运行在Windows 2000上协议的Adaptec。OEM的厂商和合作伙伴正在测试beta系统。Adaptec认为SRP对于高性能的SANs会相当出众，但必须解决多厂商产品间的兼容。最终版本的SRP可能取决于操作系统的驱动程序和服务器的支持，预计在2002年下半年或2003年上半年完成。

IpoIB，将IP协议映射到InfiniBand，正在被IETF的一个工作组定义。IpoIB包括IPv4/IPv6的地址解析、IPv4/IPv6的数据报的封装、网络初始化、组播、广播和管理信息库。预计在2002年下半年或2003年上半年完成。

SDP试图解决其它协议的几个缺陷，特别是相对高的CPU和内存带宽的利用率。SDP基于微软的Winsock Direct协议，类似于TCP/IP，但优化后用于InfiniBand，以降低负荷。一个工作组在2000年下半年开始定义SDP，2002年2月完成了1.0规范。

RNDIS是微软开发的协议，用于基于通道的即插即用总线的网络I/O，比如USB和IEEE-1394。InfiniBand RNDIS 1.0规范即将完成。

不要期望一夜成功

尽管所有的厂商都大肆宣传，市场分析人员也预计有良好前景，但不要期望InfiniBand在一夜之间获得成功，或者失败。一方面，InfiniBand要求继续投资于一个未经完全验证的技术，特别是当今经济正从衰退中恢复。尽管可能生产出更多的InfiniBand产品，而不使现存的设备过时，但获得最大收益要求更广泛地支持InfiniBand技术，因为InfiniBand技术利用大型交换式网络和本地接口和协议。

一些IT管理员可能会反对这种同时用于存储、进程间通信和网络传输的网络结构，尽管这是InfiniBand的目的。将不同形式的通信运行在不同的总线和网络上可以提供一定的冗余，而InfiniBand也可以通过多个点到点的交换式网络同样提供冗余。但他们认为互相分离的网络能够防止存储I/O同服务器和网络通信竞争带宽。

而另一方面的论点是，InfiniBand统一的网络结构可以简化IT管理员的工作。一方面，你不必保留不同形式的备份。连接服务器的同一种电缆也可以同存储系统协同工作，磁盘子系统可以在不同的子系统之间互换。带宽的争夺不大可能成为一个问题，因为InfiniBand可以扩展的网络结构能提供足够的带宽，并且很容易增加。而其它的I/O技术，一旦定义了总线宽度和时钟频率，其理论最大带宽是固定的，你不能仅仅通过插入缆线来增加更多的带宽容量，但InfiniBand可以做到这一点。

同样，统一的、可以重新配置的网络结构能够很容易地在存储、网络通信和IPC之间再分配带宽，而不必关掉关键系统来更换硬件。

应该说，InfiniBand的技术基础是稳固的。当然，除了技术的原因，新的技术有时会因为这样那样的原因而出现故障。另外，不成熟的市场和高于期望的费用使许多好的点子成为过眼烟云。

Infiniband的现状和未来

2006年11月13日在美国佛罗里达Tampa召开的一年两次的巨型计算机博览会（SC06）上公布的世界前500名巨型机的排名中用于服务器互联的公开标准协议Infiniband的占有率首次超过了私有协议Myrinet，而在所有使用了Infiniband的巨型机中Voltaire又以绝对优势占了2/3。另外到今年六月为止的世界前500名巨型计算机排名中占有率一直持续上涨的千兆以太网也首次下跌18%。至此经过3年多的较量，在高性能计算（HPC）领域服务器互联网络的首选协议已经明确为Infiniband。在此想就Infiniband的现状和发展趋势向各位读者做一下介绍。

Infiniband的特点：

Infiniband协议的主要特点是高带宽（现有产品的带宽4xDDR 20Gbps,12x DDR 60Gbps, 4xSDR 10Gbps, 12xSDR 30Gbps、预计两年后问世的QDR技术将会达到4xQDR 40Gbps,12x QDR 120Gbps）、低时延（交换机延时140ns、应用程序延时3μs、一年后的新的网卡技术将使应用程序延时降低到1μs水平）、系统扩展性好（可轻松实现完全无拥塞的数万端设备的Infiniband网络）。另外Infiniband标准支持RDMA(Remote Direct Memory Access)，使得在使用Infiniband构筑服务器、存储器网络时比万兆以太网以及Fibre Channel具有更高的性能、效率和灵活性。

Infiniband与RDMA:

Infiniband发展的初衷是把服务器中的总线给网络化。所以Infiniband除了具有很强的网络性能以外还直接继承了总线的高带宽和低时延。大家熟知的在总线技术中采用的DMA(Direct Memory Access)技术在Infiniband中以RDMA(Remote Direct Memory Access)的形式得到了继承。这也使Infiniband在与CPU、内存及存储设备的交流方面天然地优于万兆以太网以及Fibre Channel。可以想象在用Infiniband构筑的服务器和存储器网络中任意一个服务器上的CPU可以轻松地通过RDMA去高速搬动其他服务器中的内存或存储器中的数据块，而这是Fibre Channel和万兆以太网所不可能做到的。

Infiniband与其他协议的关系：

作为总线的网络化，Infiniband有责任将其他进入服务器的协议在Infiniband的层面上整合并送入服务器。基于这个目的,今天Volatire已经开发了IP到Infiniband的路由器以及Fibre Channel到Infiniband的路由器。这样一来客观上就使得几乎所有的网络协议都可以通过Infiniband网络整合到服务器中去。这包括Fibre Channel, IP/GbE, NAS, iSCSI等等。另外2007年下半年Voltaire将推出万兆以太网到Infiniband的路由器。这里有一个插曲：万兆以太网在其开发过程中考虑过多种线缆形式。最后发现只有Infiniband的线缆和光纤可以满足其要求。最后万兆以太网开发阵营直接采用了Infiniband线缆作为其物理连接层。

Infiniband在存储中的地位：

今天的Infiniband可以简单地整合Fibre Channel SAN、NAS以及iSCSI进入服务器。事实上除了作为网络化总线把其他存储协议整合进服务器之外，Infiniband可以发挥更大的作用。存储是内存的延伸，具有RDMA功能的Infiniband应该成为存储的主流协议。比较一下Infiniband和Fibre Channel我们可以看到Infiniband的性能是Fibre Channel的5倍，Infiniband交换机的延迟是Fibre Channel交换机的1/10。另外在构筑连接所有服务器和存储器的高速网络时使用Infiniband Fabric可以省去Fiber Channel Fabric,从而给客户带来巨大的成本节省。

今天在使用Infiniband作为存储协议方面已经有了很大的进展。作为iSCSI RDMA的存储协议iSER已被IETF标准化。

不同于Fibre Channel，Infiniband在存储领域中可以直接支持SAN和NAS。存储系统已不能满足于传统的Fibre Channel SAN所提供的服务器与裸存储的网络连接架构。Fibre Channel SAN加千兆以太网加NFS的架构已经严重限制了系统的性能。在这种情况下应运而生的则是由在Infiniband fabric连接起来的服务器和iSER Infiniband存储的基础架构之上的并行文件系统（诸如HP的SFS、IBM的GPFS等等）。在未来的服务器、存储器网络的典型结构将会是由Infiniband将服务器和Infiniband存储器直接连接起来，所有的IP数据网络将会通过万兆以太网到Infiniband的路由器直接进入Infiniband Fabric。

在存储厂商方面Sun, SGI, LIS LOGIC,飞康软件等公司都已推出自己的Infiniband存储产品。在中国新禾科技公司也推出了他们的Infiniband存储系统。

从价格的角度，今天的Infiniband是万兆以太网的几分之一。Inifiniabnd有比FibreChannel高5倍的性能，在价格上则已与Fibre Channel在同一个数量级上。

在HPC以外的领域的Infiniband的应用：

在过去一年里我们看到Infiniband在HPC以外的领域得到了长足的进步。这主要包括Infiniband在大型网络游戏中心的应用、Inifiniband在电视媒体编辑及动画制作方面的应用。在证券业方面，人们也已经在着手开发以Infiniband为核心的高速、低迟延交易系统。在银行业我们也看到了一些以Inifiniband全面取代Fibre Channel的努力。

明、后年Infiniband的看点：

Voltaire将于2003年秋天推出万兆以太网到Infiniband的路由器。这将使由Infiniband对数据网络存储网络的整合得到加速。

Voltaire已经开发出全套的iSER Initiator、Target code。很多存储合作伙伴在利用Voltaire的iSER code开发他们独自Infiniband存储系统。预计在明、后年大家会看到更多的Infiniband存储系统投放市场。

Infiniband已经进入刀片服务器（IBM、HP等等），我们在未来的两年还会看到这方面更多的努力和成功。

Infiniband标准装配在服务器上的努力和成功。

装载Infiniband存储的巨型机进入世界前500巨型机列表。

Infiniband在网络游戏业、石油业、电视媒体业、制造业等方面进入企业级应用。

Infiniband：曲高和寡前途未卜

步入2008，数据中心的应用环境发生了巨大的变化，多核、虚拟化和刀片成为新一代数据中心的主流趋势，在这样的主流趋势下，有些人预测InfiniBand也将迎来其生命周期的黄金时代，有些人则持反对意见

衔着金钥匙出生

早在2001年，一位国外专家Sandra Gittlen第一次为Network Word的年度热门问题撰写了关于当时出现的被称作的互联架构的文章。

以下是Sandra Gittlen文章的开篇：

“它就是治疗网络瓶颈问题的灵丹妙药，InfiniBand，下一代的个人电脑输入/输出架构，将随时准备取代PCI的地位，成为服务器的新标准。”

那时候，大多数人都对InfiniBand给予厚望，有充分的理由相信InfiniBand即将闯入市场，将会大展拳脚，并可一举取代数据中心的网络。当时，有排成行的公司为此下了重资。事实上，有超过2亿美元的风险投资在那个时候注入了与InfiniBand相关的公司。其中的翘楚有Dell，HP，Compaq，Intel，IBM，Microsoft和Sun，这些大公司都为这项技术的发展而努力着。

InfiniBand，用最简单的话说，就是在服务器端一个主机通道适配器和存储设备等外设上的目标适配器之间的高速架构，因为这些适配器之间直接通讯，下载、安全和服务质量等可以内置。

适者生存

时间一闪到了2005年，情况发生了巨变。

那时候，很多早期获得了关注的创业公司或是破产，或是被兼并，或是被收购。只有一些幸存了下来。在这段期间，同样是Sandra Gittlen给Network World写了另外一篇文章，是关于高性能计算和数据中心用户在高速度互联方面有成千上万的选择。

一家存活至今的InfiniBand公司，Mellanox Technologies的市场部副总裁Thad Omura承认：虽然InfinBand技术发展至今已经相对成熟了，但却受到了经济衰退的影响。“在那段萧条的时期里，人们不会倾向于在新的互联技术上进行投资。”

一晃又是两年，情况又发生了一些改变。今天，我们在互联方面的投资不断增加，而如何利用互联技术降低数据中心或高性能计算的成本方面也开始回暖。时至今日，恐怕大家又要重新审视这个问题了：InfiniBand的时代终于来临了吗？

上个月，IDC发布了一份有关InfiniBand的调研报告，在这份关于InfiniBand在全世界范围内的发展预测中，IDC认为：“正是由于网络中不断增长的需要，才推动了超越从前的重要商业服务的出现，以前那种服务器和存储资源之间的互联已经不能满足现在的带宽和容量了。因此，有些客户在寻找现有互联结构的替代品，能够完全满足吞吐量上的要求，也就是需要更多的带宽和更短的延迟。”

IDC还认为：“高性能计算，向外扩展的数据库环境，共享和虚拟化的输入/输出，以及有类似高性能计算特征的财务软件应用已经推动了很多InfiniBand的发展，并将带来更多InfiniBand的推广和应用。”

在报告中，IDC预测2011年InfiniBand产品制造收入将从2010年的15，720万美元升至61，220万美元。

多核、虚拟化和刀片是推动力

这些消息对于Omura这样的infiniband厂商来说是个好消息。Omura的客户包括HP、IBM以及Network Appliance，这些一流的大厂都将InfiniBand技术使用到了自己的产品中，让人对infiniband更增添了一些信心。

Omura发言人表示，各种趋势都在推动这种应用。“我们已经进入了多核CPU的时代，因此需要更多带宽和更短的延迟；虚拟化则推动了统一输入/输出架构进程；刀片服务器端口有限，但却连接到同一块背板上，这些趋势都在加速着InfiniBand的发展。”

根据infiniband技术的发展，InfiniBand的吞吐量是20Gb每秒，到2008年能达到40Gb每秒。与之相比的10G以太网，2008年之前吞吐量上则不会有什么改变。

此外，对于数据中心目前而言最重要的问题是解决延迟时间的问题，InfiniBand延迟时间是1微妙，以太网的延迟则接近于10微秒。

难怪Omura发言人如此乐观：“如果InfiniBand可以帮助我们既降低成本，又节约能源，还有更快的处理速度，人们肯定会选择它的。”

他以一个贸易公司为例，“如果你在交易过程中快了1毫秒，你一年的收益就可以达到1亿美元。最先吃螃蟹的是高性能计算领域的公司，其次是金融机构。如今我们看到那些数据库驱动的实时应用，比如票务预订系统，正在普遍使用InfiniBand产品。”

应该说整个IT行业最近几年在InfiniBand上的收益可能并不够丰厚，但是产品的研究与开发并没有停滞不前。另外一家InfiniBand公司Mellanox也赚了个盆满钵满。他说：“从2001年到2005年，我们的收入年年都翻番。” 而且他认为大规模生产的出现还要再过上几个月的时间。

发展的阻碍

就在一些infiniband厂商对InfiniBand的前途异常乐观之时，在2005年曾经收购了InifiniBand厂商Topspin Communications的Cisco却认为IDC关于InfiniBand技术在企业级应用前景的预测是“过于乐观了”。

Cisco的服务器虚拟化事业部销售主管Bill Erdman认为：“目前InfiniBand的应用还不足以说明InfiniBand时代的到来。”

Erdman说延迟时间短是InfiniBand产品的最大价值，但是IDC提到的其他驱动力，比如虚拟化，则在InfiniBand应用上有点困难。

“虚拟化需要特殊的设备和做好定义的管理范式，输入/输出整合则需要在InfiniBand和以太网/光纤通道之间的通路，并且简单假设随着客户增加应用软件和网站主机层却不需要额外的防火墙、内容负载均衡以及网络入侵防御系统等服务。”他说，“InfiniBand并没有和这些服务整合在一起。”

Cisco已经看到InfiniBand产品在数据库、后端数据库主机以及信息总线程序上的应用。“不过，如果有其他应用程序，需要更丰富的主机服务，以太网仍然是服务器主机技术的选择。”Erdman表示。

Cisco与IDC意见相左，因此很难说InfiniBand产品是否能最终大举进攻企业级市场。但是infiniband技术已经蹒跚了这么久，走了这么远，笔者有信心infiniband还能继续走下去。那就让我们拭目以待吧。

4              应用案例

应用案例1：大数据持续爆发

像Oracle Exadata这样的大数据方案提供商已经将InfiniBand部署在他们的设备内部好几年了，对于需要高速计算能力和大量内部数据流的横向扩展应用程序来说，InfiniBand是一个理想的交换结构解决方案。

正在部署开源Hadoop的用户应该了解他们的大数据集群是如何在InfiniBand网络中变得更强大的，与传统的10GB以太网相比，hadoop集群中的InfiniBand网络将分析吞吐量翻了一倍，因为需要更少的计算节点，由此累计省下来的开支比部署InfiniBand网络通常要多很多。

只要数据在容量和种类上持续增长，高性能的数据交换就会一直是数据中心网络的一个巨大挑战，如此一来高带宽和低延迟的InfiniBand网络使得它成为一个具有竞争力的替代方案。

应用案例2：虚拟数据中心的虚拟I/O

为了满足虚拟环境下关键应用程序的可用性和性能，IT必须虚拟整个I/O的数据路径，包括共享存储和连接网络，反过来，I/O数据路径，必须能够支持多协议和动态配置。

为了加强运行关键程序的虚拟机的移动性，虚拟机必须能够无缝而且快速的将整个网络和存储迁移到另外一个地方。这意味着支撑其运作的物理架构必须被每台主机同等的连接到。但是由于主机一般都有不同的物理网卡和物理网络连接，虚拟机的无缝移动成了一个挑战。像InfiniBand这样聚合、平坦的网络架构提供了一个巨大的管道，可以动态按需分配，这使得其在紧密、高移动性的虚拟环境下变得尤为理想。

应用案例3：横向扩展的网页需要紧密互连

基于网页的应用程序需要的基础设施不仅仅支持虚拟化的云计算资源，还需要额外的移动性和灵敏性去支持动态重新配置，而不用去关心现有的数据流或者现有的连接要求。因此，InfiniBand的扁平地址空间对于服务提供商和基于网页的大型商业程序来说，是一个巨大而且实用的福利。

对那些数据流体现为数量众多而且数据量很小的（比如随机存储读写、远程内存直接读写、消息队列）应用程序来说，在同等条件下将网络延迟减少一半可以极大的改善应用程序基本的性能和吞吐量，极大的减少对基础设施的要求和极大的缩减开支。

应用案例4：高度密集的设备共享和汇聚

随着数据中心里的设备越来越密集，用户正在利用前端网络来匹配后端带宽的方式来将资产的利用率最大化。换句话说，如果InfiniBand能够成为高性能、横向扩展存储系统的选择，它也应该成为存储前段连接的一种选择。

最近流行的扩展服务器端存储的趋势需要一个InfiniBand这样一个更优于高级缓存的架构，它要么在服务器之间直接共享数据，或者紧密整合外在共享存储设备。兼顾到存储和服务器的实际效果就是它同时可以处理前端存储I/O和后端存储I/O，因而InfiniBand网络可以扮演一个非常杰出的角色。

参考链接：

1.InfiniBand

2.存储经理人必知：用于存储和融合数据中心的InfiniBand网络