伴隨著“新基建”的浪潮推動科研數智化發展，深度學習等人工智能技術的引入成為了近年來研究者密切關注的熱點。高質量的遙感影像在災害監測、氣象、軍事等諸多方面都有廣闊的應用前景，AI 技術在圖像匹配方面有著比較好的特征提取和表達能力，便于從海量異構的遙感數據中獲取豐富準確的屬性信息，挖掘目標區域的演變規律。
然而，AI 技術的深入應用在協助研究者解決更加復雜的場景問題的同時，也給傳統基礎設施與工作流帶來了挑戰，在此簡單介紹以下三個方面。
(資料圖片僅供參考)
1. 基礎設施與計算資源
遙感圖像分辨率的提升、網絡深度的增加毋庸置疑會帶來性能的提升，但與之相伴的是龐大的模型、巨量的參數和緩慢的算法效率，本地臺式機的運算能力很難滿足日益上升的需求，需要投入大量的硬件成本。同時，算法模型在訓練時需要頻繁地調試參數，并將不同結果進行可視化以提高調優效率，也對內存和性能提出了更大的要求。
2. 數據與工作流管理
遙感數據處理向云發展的趨勢除了改變傳統數據本地下載、處理、分析的模式外，也給研究者新的工作流搭建帶來了挑戰。遙感大數據具有豐富的數據源，云環境下除了需要完成對數據的分析外，對于多源數據的接入、存儲及高效管理也存在著切實需求。另外，傳統工作流在平臺間的遷移也將對模型的管理、研究項目任務的管理造成影響。
3. 數據、模型的開放應用
傳統遙感研究面臨的數據共享不足已成為制約其發展的重要瓶頸，不同行業的遙感用戶經常會受到信息共享不暢的問題困擾，盡管政策上支持跨領域融合，但國內始終缺乏一個相對比較開放的環境。此外，開發的算法以源代碼的形式進行分享應用會給不同領域研究者之間的協同造成一定困難，模型在本地共享，環境之間兼容性低，算法集成難度大，不具備良好的可移植性和可復用性。
盡管存在著多方面瓶頸，近幾年，隨著技術的不斷革新及 AI 產業的生態發展，我們還是可以觀察到不少研究機構在合適平臺的支持下，找到了遙感大數據與 AI 新技術融合應用的可行性方案。
中國自然資源航空物探遙感中心作為航空物探遙感的科技領軍單位，希望打破目前遙感數據、模型算法、計算資源三者分離的局面，通過云端部署，完成對大規模數據的處理和分析，同時也希望能提高研究成果的轉化效率，促進“政產學研用”的協同創新。
ModelWhale 為其進行了平臺級工具的私有化部署，與航遙中心共同打造了高可用、高并發的集成化開發部署平臺。
隨著 AI 技術的大規模應用，航遙中心從過去使用 ENVI-IDL 編程進而引入了 GPU 加速，盡管提高了效率，但單機單卡和單機多卡仍是很快就滿載無法使用。而目前研究者針對數據密集型和計算密集型問題普遍采用的方案是 GPU 集群，在進行嘗試后，航遙中心發現這與其現實需求還是存在一定偏差。航遙中心內部擁有相對充足的算力資源，既希望每個研究者都能有自己的實踐環境，又希望針對一些大型復雜計算問題，可以把所有計算資源集中集合起來，因此，實際的需求是一個能幫助其整合、調度存儲與計算資源的平臺。
對此，ModelWhale 基于研究中心現有的基礎設施優化結構，將已有的、零散的本地計算硬件接入云端，利用平臺的云原生架構進行了安全、靈活、可控的集約化運維和細粒度分割調配。
本地算力資源接入后，當需要處理大規模計算任務時，ModelWhale 可將多機多卡的 GPU 組成集群算力以供使用。GPU 集群基于 Horovod 的并行計算，可以達到成倍計算效率，適用于遙感影像多層次并行處理，這也同時為航遙中心在如災害監測等具有時效性項目上進行應用提供了保障。
而在日常研究中，接入平臺的算力可以根據核數與內存大小進行拆分，分配至不同研究員和項目小組。平臺在項目運行時會幫助研究員自動調度匹配的機器實例，并自動加載好所需的軟件環境、數據及文件。使用過程中，研究者可隨時查看算力、內存、磁盤的使用情況，發現資源不夠就可以通過主動發起申請獲得，這一自動化流程極大地釋放了航遙中心內部運維的壓力。
最后，當項目關閉，平臺將自動釋放運算資源，同時將項目文件持久化存儲，確保提升計算資源利用率的同時也能盡可能降低算力成本。借助 ModelWhale 強大的資源調度能力與完善的資源管理機制，航遙中心突破其底層架構限制，實現了對本地算力資源的能耗最小化、效率最大化應用。
相較于自然圖像數據，遙感數據的構成更加復雜，衛星、傳感器等采集設備物理參數的不一致使得遙感數據源存在多方面差異，因此遙感實驗研究過程中需要更加頻繁地調整參數，并且需要將數據處理的不同結果進行可視化對比。而人為關注訓練任務完成情況以保證實驗的延續性既繁瑣又浪費時間，因此航遙中心的研究人員希望利用技術和平臺使這個過程自動化進行，提高模型調優的效率。
基于 ModelWhale，針對有較高計算量的訓練任務，研究人員可以采用離線托管運行 Notebook 或腳本項目文件，離線任務沒有運行時長限制，自動在云端跑完，任務的發布也不會影響到研究人員繼續使用電腦投入其他工作。ModelWhale 提供通知接口，研究人員可以直接從郵件或社交軟件上接收訓練完成的通知，而不用再時刻關注任務運行情況。
結合遙感數據特點，為了選擇最有效的算法，研究人員也可以提前設置不同參數組合，同時啟用多臺機器完成不同參數配置下統一模型的訓練，并結合 GPU 集群縮短訓練時長，平臺將記錄模型每次訓練的超參數信息，提供可視化對比報告，從更多角度對比分析模型優劣，助力研究者挑選出最合適的模型。任務運行成功后，研究人員可以保存離線運行的結果，輸出結果文件，也可以隨時調用訓練中產出的過程文件。
ModelWhale 提供的離線訓練與訓練指標對比功能，構建起了高自動化、高可視化的調優流程，再結合算力資源的彈性調度，一體化縮短了遙感深度學習算法的開發周期。
對于傳統工作流的重構是航遙中心亟需解決的第二大問題，規模化采用 AI 后，將工作遷移至 python 平臺盡管能與深度學習高度融合，卻無法對數據、算法、模型進行統一管理并形成資產積累。航遙中心有時需要每天接入幾百景數據，龐大的數據量使得數據準備階段的工作十分繁瑣。另外，即使后期形成了算法模型，遙感數據分析模型的部署和運行又可能依賴于不同的軟硬件環境，包括操作系統、編譯器、支持庫等等，按需部署具有一定難度。
針對上述問題，ModelWhale 以高集成度的開發工具，助力航遙中心搭建起高效工作流。
基于平臺，航遙中心首先可以多種方式接入存放在本地、數據庫、對象存儲以及 NAS 空間中的各類數據并統一管理，平臺標準化的協同流可支持研究團隊內成員同步使用各類生產資料分析研究。其次，研究人員可根據遙感數據分析模型運行和部署的需求自定義云端鏡像環境，所定制的環境皆可基于平臺規范描述，只需將鏡像分享給他人或幫助他人重構即可從環境層面保證算法模型的異地復現。而遙感作為一門技術，常被應用于不同領域問題的解決，因此對于開發完成的模型，平臺還提供了一鍵自動化部署，簡化模型從開發到應用的復雜度。
對于項目流程管理，ModelWhale 支持將課題拆解成多個階段任務進行宏觀管控，各個領域的研究者可在細分任務中查看進展情況，并明確每個人的職責分工。任務結果可以多種形式提交，其他成員在線同步查看，這有利于團隊內部的信息同步，把控整體節奏，提高研究課題的交付效率。
最后，研究人員可以選定運行時的分析環境、數據集、算法代碼版本，將生產要素整合并補充一定文字說明后，沉淀至組織內部的成果庫中，便于后期隨時復現。另外，團隊內部的項目、數據、文件、視頻皆可用文件夾與標簽的形式進行整理，并沉淀至團隊的知識庫中，供所有人調取使用。
“新基建”的加速或許會讓 AI 技術在未來成為一種基礎服務，像作用于遙感數據的處理、應用一樣，拓寬各領域科學研究的方式方法、改變科研工作者間的協作模式。
在此納新求變的過程中，ModelWhale 將數字技術融于平臺能力，連接數據、算力、模型等核心要素，融合協作、統籌、沉淀等離散需求，讓 AI 更好地服務于科研成果的落地。
ModelWhale 同時支持 SaaS 云端使用及本地私有化部署，可滿足不同組織需求。
歡迎進入ModelWhale.com 了解更多產品信息，也可掃描官網右側二維碼 聯系產品顧問或致電：021-8037 0235(轉8) 溝通交流。
