InfiniBand
InfiniBand(簡稱 IB)是一種面向伺服器、儲存系統和高效能計算節點的通道式、交換式網絡互連架構,由 InfiniBand Trade Association(IBTA)制定和維護規範。InfiniBand 具有高頻寬、低延遲以及對遠端直接主記憶體訪問(RDMA)的原生支援,主要用於高效能計算、人工智能訓練叢集和數據中心中的高效能互連。[1]
InfiniBand 採用交換式 fabric 架構,可連接計算節點、儲存裝置和網絡交換機,並支援大規模叢集中的低延遲訊息傳遞與高吞吐量數據傳輸。IBTA 同時維護 InfiniBand 與 RoCE 規範。隨着高效能計算和人工智能基礎設施的發展,InfiniBand 的鏈路速率已由早期 SDR 演進至 NDR 和 XDR。[2]
作為高效能互連技術,InfiniBand 與高速乙太網絡以及其他專用互連技術並存。
規格
[編輯]效能
[編輯]InfiniBand 使用多通道鏈路。常見的 4X 鏈路由四條並列物理通道組成。隨着標準演進,每條通道的訊號速率持續提高,從而提升埠總頻寬。[3]
| 代際 | 單連結訊號速率 | 典型 4X 鏈路速率 |
|---|---|---|
| SDR | 2.5 Gbit/s | 10 Gbit/s |
| DDR | 5 Gbit/s | 20 Gbit/s |
| QDR | 10 Gbit/s | 40 Gbit/s |
| FDR-10 | 10 Gbit/s | 40 Gbit/s |
| FDR | 14 Gbit/s | 56 Gbit/s |
| EDR | 25 Gbit/s | 100 Gbit/s |
| HDR | 50 Gbit/s | 200 Gbit/s |
| NDR | 100 Gbit/s | 400 Gbit/s |
| XDR | 200 Gbit/s | 800 Gbit/s[4] |
實際有效數據吞吐量會受到線路編碼、協定開銷以及具體鏈路組態等因素影響。較新的 XDR 規範支援約 200 Gbit/s 的單連結速率,並可在 4 通道組態下提供 800 Gbit/s 的埠頻寬。[4]
拓撲
[編輯]InfiniBand 使用交換式 fabric 拓撲,而不是共用媒介網絡。主機通常通過主機通道配接器(Host Channel Adapter,HCA)連接到 InfiniBand fabric,並經由一個或多個交換機與其他主機或儲存裝置通訊。
InfiniBand fabric 由子網絡管理器(Subnet Manager)負責發現網絡拓撲、分配地址並組態轉發表等控制平面功能。大型系統可以由多級交換網絡組成,以擴充到數百或數千個節點。
InfiniBand 支援多種服務類型以及服務質素(QoS)機制,可針對不同通訊流量組態虛擬通道和優先級。
通訊模型與 RDMA
[編輯]InfiniBand 原生支援遠端直接主記憶體訪問(RDMA),允許一個節點在得到授權的情況下直接讀取或寫入遠端節點的主記憶體,而無需遠端 CPU 參與每一次數據複製操作。這樣可以減少 CPU 開銷和內核協定棧中的數據複製。
典型的數據傳輸操作包括:
- Send / Receive;
- RDMA Read;
- RDMA Write;
- 原子操作(Atomic Operations)。
InfiniBand 通訊通常建立在佇列對(Queue Pair,QP)模型之上。傳送和接收請求被提交到佇列中,操作完成後由完成佇列(Completion Queue,CQ)向應用程式報告結果。[5]
物理互連
[編輯]InfiniBand 支援銅纜和光纖等物理媒介,並採用多通道串行鏈路。不同代際使用的連接器和收發器規格有所不同,常見形式包括 QSFP、QSFP56 和 OSFP 等。[6]
早期 InfiniBand 鏈路通常使用 1X、4X 或 12X 等寬度;現代伺服器連接中 4X 較為常見。HDR 和 NDR 還存在使用較少物理通道提供部分埠頻寬的鏈路形式。[6]
軟件介面
[編輯]InfiniBand 規範定義了一組通常稱為 verbs 的操作語意。應用程式可以通過 verbs 介面建立和管理佇列對、完成佇列、主記憶體區域和保護域等 RDMA 資源。[5]
在 Linux 系統中,常見的用戶態介面由 RDMA 軟件棧提供,例如 libibverbs。OpenFabrics Alliance(OFA)長期參與 verbs 和 RDMA 軟件生態的開發與互操作性工作。[7]
應用
[編輯]InfiniBand 廣泛應用於高效能計算叢集、超級電腦以及大規模人工智能訓練基礎設施。這類系統通常需要節點之間進行高頻寬、低延遲通訊,並大量使用 RDMA 以降低數據傳輸對 CPU 的影響。IBTA 在 XDR 規範中將人工智能和科學計算列為新一代 InfiniBand 的主要應用場景。[2]
在分散式計算環境中,InfiniBand 常被 MPI、分散式儲存系統以及 GPU 叢集通訊框架用於節點間數據交換。
歷史
[編輯]InfiniBand 源於1999年兩個競爭性 I/O 架構專案——Future I/O 和 Next Generation I/O——的合併。隨後成立了 InfiniBand Trade Association(IBTA),參與者包括康柏、戴爾、惠普、IBM、英特爾、微軟和Sun Microsystems等公司。InfiniBand Architecture 1.0 規範於2000年發布。[8]
InfiniBand 最初被設想為一種能夠同時承擔伺服器 I/O、叢集互連和儲存連接的通用架構。隨着 PCI Express 和高速乙太網絡的發展,其主要應用逐漸集中到高效能計算和高效能數據中心網絡。
時間線
[編輯]- 2000年:InfiniBand Architecture 1.0 規範發布。[8]
- 2003年:弗吉尼亞理工學院暨州立大學建成基於 InfiniBand 互連的 System X 超級電腦,並進入當時 TOP500 前列。
- 2004—2005年:OpenFabrics 社群推動 Linux InfiniBand 軟件棧的發展,Linux 內核開始正式支援 InfiniBand。[9]
- 2011年:FDR 代際開始進入 InfiniBand 產品和標準路線圖。[10]
- 2019年:NVIDIA宣布以69億美元收購 Mellanox Technologies;交易於2020年完成。[11]
- 2023年:IBTA 發布包含 XDR 初始規範的 InfiniBand Architecture 更新,XDR 目標埠頻寬達到 800 Gbit/s。[2]
- 2025年:IBTA 發布 InfiniBand Architecture Volume 1 和 Volume 2 Release 2.0,完善 XDR 200 Gbit/s 每通道支援、正向錯誤校正和更大規模交換結構管理能力。[4]
參見
[編輯]參考資料
[編輯]- ^ InfiniBand Specification Frequently Asked Questions. InfiniBand Trade Association. [2026-10-04].
- ^ 2.0 2.1 2.2 IBTA Unveils XDR InfiniBand Specification to Enable the Next Generation of AI and Scientific Computing. InfiniBand Trade Association. 2023-10-05 [2026-10-04].
- ^ InfiniBand Interface Commands. NVIDIA. [2026-10-04].
- ^ 4.0 4.1 4.2 InfiniBand Trade Association Advances High-Performance Networking with New Specification Updates. InfiniBand Trade Association. 2025-11-11 [2026-10-04].
- ^ 5.0 5.1 OpenFabrics Verbs Working Group. OpenFabrics Alliance. [2026-10-04].
- ^ 6.0 6.1 InfiniBand Cables Primer Overview. NVIDIA. [2026-10-04].
- ^ The OpenFabrics Alliance and the Pursuit of Efficient Access to Persistent Memory over Fabrics. OpenFabrics Alliance. [2026-10-04].
- ^ 8.0 8.1 Pentakalos, Odysseas. An Introduction to the InfiniBand Architecture. O'Reilly. [2014-07-28]. (原始內容存檔於2014-08-09).
- ^ Linux Kernel 2.6.11 Supports InfiniBand. [2014-07-29]. (原始內容存檔於2020-10-21).
- ^ InfiniBand Roadmap – Charting Speeds for Future Needs. InfiniBand Trade Association. [2026-10-04].
- ^ NVIDIA to Acquire Mellanox for $6.9 Billion. NVIDIA. 2019-03-11 [2026-10-04].