2022年11月10日10點,鵬博士大數據IT運維部主管王旭辰剛剛帶領團隊對數據中心進行雙十一前最后一次巡檢。他拿起對講機,面色嚴肅,語氣平緩:“經巡檢數據中心服務器、網絡設備運行狀態一切正常,已完成IT運維部重保部署。”

全場進入倒計時準備狀態。20點一過,平臺支付尾款交易數量瘋狂暴漲。王旭辰和他的團隊井然有序、各司其職,確保雙十一期間客戶系統可以安全穩定運行。

當過了交易峰值、系統趨于穩定的時候,數據中心運維人員心中的成就感油然而生。“重保工作就像是守一座城,我們都是守城人,現在我們又成功拼下了一城”,王旭辰綻開笑容,一改方才的嚴肅神情。

(資料圖)

王旭辰于2008年10月入職公司,擔任IT運維部主管,主要負責機房巡檢、人員設備的管理等工作。他表示,IT運維部是客戶了解基礎設施方面的溝通橋梁。從2015年到現在,他已經備戰過8次雙十一了,可以說是重保工作方面的元老了。

提前進入“戰備”狀態,消除隱患不松懈

王旭辰稱,為了保障雙十一期間客戶們的業務能夠穩定運行,運維人員一般在十月下旬就要開始進入“戰備”狀態了。首先,對各系統進行全面風險自查,并統一進行安全生產教育培訓,明確職責流程、加強人員管控,確保各機房基礎設施平穩運行。

運維團隊還要與重保客戶開展重保溝通會,確認重保期間帶寬及電力峰值需求,提前擴容帶寬限速,配合客戶完成網絡壓力測試并建立線上聯絡群,便于隨時與客戶進行溝通,優化授權流程。完成客戶設備狀態巡檢,檢查重要光纖鏈路標識是否完整,線纜敷設是否規范。配合基礎設施部門加強關鍵基礎設施備品備件管理,確保應急搶修效率。安排相關基礎設施廠家或代維人員,與數據中心各基礎設施部門負責人重保期內現場輪流值守。

“當然了,僅僅靠預先檢查就想做到細致周密是遠遠不夠的。有句話說的好,’實踐出真知’。所以,在每次重保之前,所有數據中心要針對每一種可能發生的故障,按照應急處理預案,進行反復模擬和實操演練,直至運維人員將所有操作爛熟于心,”王旭辰解釋道,“這個過程主要就是針對可能出現的突發事件進行應急演練,明確事件處理流程和通報機制。一旦出現問題可以迅速采取措施恢復事件造成的影響并讓相關人員了解事件影響范圍和處理進度。

“實際上,在正式開展重保工作期間是很少出現突發狀況的,因為經過了這么多年的開發和完善,整套工作流程已經能夠穩定有序的運行了。不過,為了確保萬無一失,我們還是非常重視重保前的各項準備工作的,確保每個細節都做到位,這也是我們的使命和任務。”

7 x 24小時全程待命,恪盡職守穩運行

談到外界對運維人員的印象,在外人看來,運維工作人員是一種很神秘的存在,“絕大部分人對我們的工作都不是很了解,就算有所耳聞可能了解的也不是太全面,可能認為我們在雙十一期間一定會忙到廢寢忘食。這實際上有一定的誤解,就像我剛剛提到的,我們現在的各項技術已經非常成熟了,同時所有數據中心的同事也通過日常的實戰磨煉積累了一定的經驗,對各項操作流程及應急處理可以說是銘記在心,所以在應對雙十一購物節這一類重大保障工作有充足的信心。”

“不過,就算各方面準備工作做足也不代表我們就可以完全高枕無憂了,”王旭辰強調,“在重保當天,我們會以關鍵設備的現場巡檢及動力環境系統的全方位監控列為重保工作最優先事項,巡檢過程中,我們會檢查客戶相關設備的運行狀態,如接入層網絡設備有無告警、連續供電設備及連續制冷設備運行狀態等等。在重保期間,我們通過預先建立好的內部事件匯報機制,實時觀察基礎設施運行狀態和網絡設備運行狀態,并定時進行文字性的匯報,一旦發現有突發情況,立即啟動相關EOP及應急處置方案,按照演練時的操作有條不紊地做出應急處理。”

重保過程中,大家都會高度專注,雖然各數據中心一直有人值守,但是重保期間依然會增加主管值守,同時盡可能地減少非必要人員進出和非必要的操作。由于電商平臺的促銷時段比較分散,所以運維人員在重保當日保持7 x 24小時全程待命,“我們幾乎是隨叫隨到的,只要客戶有需求傳達到現場,如某臺設備需要查看狀態或進行某些授權操作之類,我們必須馬上到現場處理,并且第一時間把設備狀態反饋給客戶。”

對運維人來說,重保期間7 x 24小時現場值守已經習以為常了,全程高度緊繃的狀態也會讓人感到疲憊不堪。“每次重保工作完成后,我們大家都會感到如釋重負,心里的石頭也終于落了地。”王旭辰笑著說道。

運維人——客戶和“剁手黨”堅實的后盾

目前,鵬博士大數據已經在全國建立了10余個數據中心,擁有超過500名運維人員,服務超過2000家優質客戶,為百行千業的全景數字世界運行提供了堅實的保障。作為一名從業超過10年的運維工作者,王旭辰表示,“我只是鵬博士大數據運維人員大家庭中的小小一員,雙十一重保工作的圓滿完成離不開我們每一個人的堅守。未來,我們相信通過技術的持續創新以及運維服務的不斷完善,我們將為客戶的業務帶來更大價值。”

最后,王旭辰表示:“雙十一難以做到十全十美,但鵬博士大數據的運維人通過完善的流程制度、優秀的人才儲備,確保雙十一安全平穩度過。我們永遠是讓客戶業務的守城人。”這是他的承諾,也是鵬博士大數據的承諾。