（CWW）隨著人工智能的快速發展，AI模型不斷向大規模方向發展，而分布式并行計算是實現AI大模型訓練的關鍵手段。在這個計算過程中，網絡吞吐是影響分布式訓練質量和速度的重要因素。本文將就網絡吞吐對AI訓練的影響以及如何通過增加通信效率促進AI集群算力線性提升進行探討。

一、分布式并行計算是實現AI大模型訓練的關鍵手段

隨著AI模型規模的不斷擴大，單GPU，單服務器已經無法滿足計算和存儲需求，分布式并行計算應運而生，即將計算任務以數據并行、流水線并行及張量并行等分布式并行方式分配到多臺服務器上，來加快模型訓練速度。

【資料圖】

在數據并行模式下，數據被分割成多個部分，分配給不同的計算設備進行并行計算。這種并行模式需要多次集合通信操作來傳遞計算結果；在流水線并行模式下，不同的計算設備分別處理輸入數據的不同階段，每個階段的結果通過集合通信操作傳遞給下一個階段；在張量并行模式下，不同的計算設備分別處理輸入數據的不同維度或不同部分，進行并行計算，這種并行模式同樣需要多機多卡間的集合通信操作，以保證計算結果的準確性和訓練效率。

因此，整網的集合通信性能對于Al網絡的性能至關重要，網絡性能決定了數據并行、流水線并行和張量并行等不同并行模式的效率，并直接影響集群對大模型訓練的時間。

二、網絡性能會直接影響分布式訓練的效率

在分布式計算環境中，不同計算機之間需要頻繁地進行數據交換和通信。因此，網絡性能的優劣會直接影響分布式訓練的質量和速度。如果網絡吞吐不夠大，數據傳輸就會成為瓶頸，從而限制了分布式訓練的效率。

首先，讓我們來看看allreduce通信特征。allreduce是一種集合通信操作，用于將所有工作節點的結果進行匯總并返回。在allreduce中，同一時間均為點到點通信，無多打一，流數少，單流帶寬大，流量模型是對分流量。理想目標是所有流量都能夠在1:1無收斂的網絡中均衡傳輸，從而使整網吞吐達到100%。

然而，在實際應用中，ECMP多路徑時流量哈希沖突會導致帶寬不均衡，進而影響端側數據發送帶寬。在allreduce的流數少，流量大的情況下，基于ECMP進行負載均衡的網絡中，網絡節點僅站在自身視角將流量通過哈希選路發送，會出現流量Hash不均甚至HASH極化最終導致鏈路擁塞、出端口擁堵，整網利用率低等問題。

圖1：Hash沖突的兩種典型場景

另外，由于這個流量特征是由于通信庫導致的，因此不論是IB還是RoCE都面臨這個網絡負載不均衡問題。

圖2：英偉達在2023云網智聯大會上介紹IB的負載均衡問題

圖3：基于經典模型Halving Doubling Allreduce算法仿真的數據

在擁塞時，擁塞時隊列深度增加，導致長尾時延增大，這是影響集合通信性能的關鍵因素，降低網絡長尾時延可有效提升訓練完成時間。

圖4：集合通信里的長尾效應

因此，網絡性能對分布式訓練的質量和速度有著重要的影響。在AI DC中必須要采取相應措施來優化網絡負載均衡的問題，以保證整網利用率的最大化進而保障整個AI集群的效率最大化。AI集群網絡的吞吐效率將直接影響整個智算中心集群的效率。

三、通過增加通信效率促進AI集群算力線性提升

在沒有實現全局負載均衡的網絡中，整體通信效率為30%~56%之間，這說明有一半的網絡性能沒有被使用，也就意味著整個集群的算力使用率僅僅為30%~56%左右。在AI計算場景下，網絡負載分擔不均問題是當前業界的一個重大的難題，Google就曾指出在其數據中心中存在多級HASH不均問題導 致10K規模組網下整網吞吐低于25%的問題。

為了提高網絡吞吐，進一步釋放集群算力，業界已經有很多嘗試和方案：

3.1英偉達通過自適應路由來解決負載不均問題，網絡吞吐從50%提升到90%

圖5：英偉達InfiniBand網絡自適應路由方案

圖6：英偉達RoCE網絡自適應路由方案原理

圖7：英偉達RoCE網絡自適應路由方案效果

在ECMP圖中，某些流具有相同的帶寬和完成時間，而其他的流因為沖突，導致完成時間更長，帶寬更低。具體來說，在ECMP場景中，一些流實現了13秒的最佳完成時間T，而最慢的流量需要31秒，大約是最佳流量的2.5倍T時間。而在RoCE自適應路由圖中，所有流都在大約相同的時間，峰值帶寬相似。

3.2中國移動發布全調度以太網架構白皮書，旨在解決網絡負載不均衡問題

與傳統以太網基于流進行負載分擔的機制不同，GSE （全調度以太網）交換網絡采用定長的PKTC 進行報文轉發及動態負載均衡，通過構建基于PKTC 的DGSQ 全調度機制、精細的反壓機制和無感知自愈機制，實現微突發及故障場景下的精準控制，全面提升網絡有效帶寬和轉發延遲穩定性。

圖8：GSE網絡端到端流量轉發示意圖

GSE 面向無損、高帶寬、超低時延等高性能網絡需求業務場景，兼容以太網生態鏈，通過采用全調度轉發機制、基于PKTC 的負載均衡技術、基于DGSQ的全調度技術、精細的反壓機制、無感知自愈機制、集中管理及分布式控制等技術，實現低時延、無阻塞、高帶寬的新型智算中心網絡。

3.3華為AI Fabric基于NSLB實現整網吞吐提升至98%

AI訓練大流為主（100MB~幾GB），流數量少，單流通信數據量大，傳統網絡更易負載不均，常年吞吐僅有50%；每個周期內最慢的一條流到達后，才能進行下一輪通信，性能取決于最慢的流。

華為采用NSLB2.0算法，可根據整網交換機節點流擁塞狀態和全網拓撲進行全局算路，識別出最優路徑，整網吞吐可提升至98%。

圖9：NSLB優化以太網負載均衡機制，實現整網滿吞吐

圖10：NSLB在某實驗室測試效果，網絡性能最高提升113%

網絡吞吐是AI DC的核心關鍵指標，AI網絡的吞吐直接決定整個智算中心的效率高低

由于網絡作為整個數據中心內的通信高速公路，其樞紐作用對計算效率，整體投資和能源消耗都有放大效應，網絡性能10%的提升，能夠撬動整體性能、投資和能耗數倍的提升：

1.更高效完成訓練任務，降低TTM：運力驅動算力，通過全局網絡負載均衡技術可以使訓練任務更高效的完成，效率最高可提升22%左右。如使用512張V100完成1750億參數的GPT3訓練，配套傳統負載均衡技術訓練大約需要8.75個月，而在全局負載均衡下的訓練可以縮短到7個月，提前釋放的資源可用于其他任務，為算力集群帶來更高收益。

2.實現集群性能完美線性擴展，降低Capex：在智算中心軟硬件基礎設施的建設中，近70%投資用于計算設備，網絡占比低于20%，剩余部分為存儲和安全設備。如果網絡存在負載不均問題，此時能釋放的集群算力僅有60%左右。但通過改進網絡負載均衡技術，可通過占比不到20%的網絡拉動3倍以上投資的算力資源，實現集群性能完美線性擴展。

3.節能減排，降低Opex：節省的算力資源除一次性購置成本外，其所配套的機架、能耗等成本同樣可觀。千卡昇騰910B集群的整體供電需求可達760KW，通過網絡負載均衡技術節省的算力資源以外，還可節省由于非線性擴展帶來的額外電費80萬/年。

綜上所述，網絡吞吐是AI DC的核心關鍵指標。衡量AI網絡性能的關鍵指標是整網的集合通信性能（allreduce），在規劃、建設AI DC的前期，需要針對網絡性能制定相應的建設規范和設定性能指標，并在正式部署前進行嚴格的功能和性能測試，確保網絡不能成為算力釋放的瓶頸。例如可以設定網絡線性度指標來衡量網絡的整體性能：

最后，沒有針對性進行負載均衡優化的網絡不適用于AI DC，不論是IB網絡還是RoCE網絡。