(CWW)目前,國家發改委、中央網信辦、工業和信息化部、國家能源局四部門復函,同意在京津冀、長三角地區、粵港澳大灣區等多地啟動建設國家算力樞紐節點和數據中心集群。至此,全國一體化大數據中心體系完成總體規劃布局,“東數西算”工程正式全面啟動。
在全國“一盤棋”的算力總體規劃下,推動實施“東數西算”工程意義深遠。算力作為當今社會的核心生產力,對于數字經濟發展的重要性,如同水利之于農業、電力之于工業,被視作推動經濟社會數字化發展的重要“燃料”,正逐步成為全球戰略競爭的新焦點。在國內算力需求激增、算力資源區域分布不均衡的背景下,國家適時啟動“東數西算”工程,此舉對于整合優化我國算力資源,推動東西部地區算力需求與土地、能源等資源的互補與匹配,具有重要戰略意義。
東數西算超級工程的實施對國家和企業而言都具有深遠意義。從宏觀層面看,全國“一盤棋”的算力總體規劃,對我國數字經濟發展具有重要的戰略引導作用,既有利于促進合理布局、綠色集約、互聯互通的數據中心發展,又肩負著保障中國戰略(數據)安全、調整國內產業布局的使命。基于算力總體規劃實施“東數西算”工程,有利于促進國家整體經濟協調發展,既有助于提升國家整體算力水平,促進國家整體經濟發展;又有利于推動區域協調發展,通過算力樞紐和數據中心集群建設,有力帶動產業上下游投資,推動西部大開發形成新格局。
從企業層面看,實施“東數西算”工程是促進企業綠色集約、自主創新發展的新機遇。一方面,數據中心耗電量大、占地多,而西部土地資源、綠色能源充裕,將數據中心統籌轉移至西部,大幅節約了企業的土地和電力成本;另一方面,當前我國科技企業在自主創新方面仍存在較大不足,不僅基礎軟件過度依賴國外技術,新技術革新引領力也略顯不足。實施“東數西算”工程,為企業推進關鍵核心技術攻關、構建科技領先優勢,進而實現產業創新發展帶來歷史性契機。
推進實施“東數西算”,需做好頂層設計,實現基礎設施革新
從總體需求來看,大數據是對算力需求較為旺盛的領域。隨著數字經濟的深入發展,數據規模持續膨脹,大數據中心負責海量數據的匯聚、加工及開放,表現出算力資源消耗大、服務時效多樣化、數據安全要求高等特點。推進實施“東數西算”工程,大數據領域需要解決3個主要問題。
一是如何在“東數西算”新格局下繼續保障數據服務的時效性。隨著大數據產業的蓬勃發展,大型數據中心日數據接入處理量已達PB級,且數據服務的時效性要求越來越高,數據遠距離傳輸再加工難以滿足要求。因此在大數據領域,一方面要強調數據的預先布局,將承載離線、非實時、備份等業務的算力布局在西部,將承載實時性業務的算力布局在東部,做到東西算力協同。另一方面,要強化數據貼源處理和分層管理,對于能就近處理的原始數據,可在區域數據中心就近加工,降低網絡傳輸壓力。總體上要統籌考慮數據源分布、數據價值密度、數據服務時效性、算力布局,做好數據架構的總體規劃。
二是如何在“東數西算”新格局下繼續保障數據生產的高效性。隨著“東數西算”的推進,數據采集和加工呈現多區域分布的特點,傳統的大數據技術架構難以承載跨中心數據統一處理需求,必須要創新構建新型大數據基礎設施:一要算力協同,具備對分布在不同區域中心的計算任務統一調度管控的能力;二要統一治理,具備對物理分散、邏輯分層的數據實施統一元數據管理的能力;三要統一服務,具備在新型復雜架構下用戶服務體驗保持一致的能力。總體上要綜合運用分布式協同計算、湖倉融合、存算分離、大數據PaaS等技術,做好大數據計算架構的整體升級。
三是如何在“東數西算”新格局下繼續保障數據安全性。算力網絡具有算力泛化、融通東西、算網共生、靈活連接等特點,會產生更多的資產暴露面和更高的連接頻次,數據傳輸的規模更大、路徑更多、服務面更廣,數據安全風險也隨之增加。企業需進一步加強數據安全管理,通過數據分級治理,體系性提升數據安全防護水平,持續完善安全治理架構。
立足自主創新,構建大數據分布式協同計算新架構
為應對大數據領域面臨的挑戰,更好地實現大數據場景下計算、存儲向西部的高效轉移,除了要充分發揮傳統運營商優勢,構建大帶寬、低時延、智能化、安全高效的傳輸網絡,中國移動大數據中心還結合業務發展,運用貼源計算、協同計算、存算分離、湖倉融合等新技術和新思路,積極推進大數據基礎設施架構全面升級。
隨著數據規模逐年增長,中國移動原有物理集中的大數據平臺難以承載持續增長的業務壓力。為滿足全網日益增長的業務需求,中國移動大數據中心創新性規劃構建大數據分布式協同計算平臺,將原有物理集中的計算架構升級為分布式多中心協同計算的處理架構,實現海量數據的分布式貼源處理,解決了業務集中承載難、優秀能力推廣難等問題。中國移動大數據中心計劃到2023年底,建成包括貴陽、重慶、呼和浩特等西部節點在內的九大區域中心大數據分布式協同計算平臺,并接入中國移動全網數據,高效支撐大數據業務創新發展。
中國移動大數據分布式協同計算平臺的建設是中國移動在結合自身業務發展的前提下,為“東數西算”的全面落地做好技術儲備和初步驗證的重要工程。中國移動大數據中心堅持自主創新,突破跨中心兩級協同調度、智能調度、跨DC高速傳輸、協同計算等多項技術難題,已完成中國移動大數據分布式協同計算平臺1.0版本研發,具備“一點觸發、多中心協同計算”的能力。
在數據分布管理層面,構建數據分層管理體系,按層次、按熱度進行數據的統籌分布管理。明細數據實時就近接入區域中心實現貼源處理,離線匯總數據向西部統一匯聚、計算,滿足多場景數據時效要求。
在技術架構層面,一是構建統一元數據、統一開發調度能力,實現任務一點編排,多中心協同調度;二是構建協同計算引擎,實現基于執行計劃拆分、算子下推的跨域計算及分析;三是構建統一資源管控層,實現對多中心的分布式資源進行統一管控,統一開放能力;四是應用大數據存算分離、湖倉融合架構,實現多模態數據的一點接入、隨處可見、隨處可算。
在安全管理層面,全面落實“三法一條例”要求,構建全方位全流程數據安全管控體系,進一步強化跨中心數據流動一致性稽核能力,具備完備的敏感操作攔截、敏感日志審計、敏感數據加密等能力,確保全生命周期數據安全。
當前分布式協同計算架構已在寧波、蘇州、汕頭、株洲、鄭州五大區域節點完成平臺部署,支撐位置洞察、內容洞察等應用創新,實現中國移動近三分之一的大數據算力分流。2022年,中國移動大數據中心將進一步在貴陽、重慶、呼和浩特、哈爾濱等區域節點開展平臺建設工作,并持續開展技術創新,強化數據智能分布管理,動態感知各數據中心資源使用情況、數據“冷熱”規律、業務容災需要,實現基于資源狀態和業務特點的數據副本跨域智能分布、作業智能化調度,高效釋放數據要素價值,有力支撐“東數西算”的戰略布局。
未來,中國移動將緊抓“東數西算”歷史機遇,踐行自主創新,持續做大做強做優大數據分布式協同計算平臺,構筑大數據計算平臺領域核心競爭力。同時中國移動將借助超級工程的廣泛影響力,進一步發揮產業引領作用,協同產業合作伙伴,體系化推進大數據產業基礎設施革新,全力服務國家“東數西算”戰略工程順利落地。