近日，中國科學院微電子研究所劉明院士團隊和復旦大學教授劉琦團隊在多模態神經形態感知研究方面取得進展。

圖1生物軀體感覺系統與人工體軀體感覺系統，a為人手感知杯子的溫度、重量和水杯形狀的示意圖；b 為由MFSN陣列和SNN分類器組成的人工軀體感覺系統模擬觸覺感知的示意圖，圖片來自中科院微電子所

前述團隊共同研發了一種結構緊湊的多模態融合感知脈沖神經元(MFSN)陣列，并將其與脈沖神經網絡(SNN)結合，構建了一種人工多模態感知系統。該成果使構建高效的多模態脈沖感知系統成為可能，為發展高智能機器人技術提供了新思路，并發表在國際材料領域期刊《先進材料》(Advanced Materials)上。

圖片來自《先進材料》(Advanced Materials)

人類軀體感受系統中的多模態感知可幫助人們獲得更全面的物體屬性，并對物體的狀態做出準確判斷，尤其是不同受體的感覺信號在一定條件下可被神經元整合，并發送到大腦皮層作進一步處理（圖1a）。

與單模態感知相比，多模態融合感知在評估物體屬性和提高物體識別精度方面具有明顯優勢。在傳統的人工感知系統中，多模態信息的處理多采用串行計算架構，傳感信號需轉換為數字模式才能被處理器處理，產生較大功耗和通信帶寬開銷。

此外，傳統半導體技術在脈沖域構建多模態感知系統方面，還面臨著器件集成和電路復雜性方面的挑戰。因此，迫切需要開發更高效的多模態融合感知硬件方案。生物感知系統具有并行分布式感官信息處理、低能耗、高容錯性等特點，顯示出克服傳統困境的重要潛力。

此次，中科院微電子所劉明團隊和復旦大學劉琦團隊研發了結構緊湊的多模態融合感知脈沖神經元(MFSN)陣列，該陣列由異質集成的壓力傳感器和NbOx憶阻器構成（圖1b）。其中，壓力傳感器用來感知壓力，NbOx憶阻器用來產生脈沖輸出并感知溫度變化。當壓力和溫度兩種激勵同時作用于MFSN時，多模態的模擬感覺信息可以融合為一個脈沖序列，顯示出優異的數據壓縮和脈沖轉換能力。

此外，研究人員通過解耦輸出脈沖的頻率和振幅，還可從融合信號中獲得獨立的壓力和溫度信息，支持了神經元對于單模態信息的保真度和多模態感知能力。團隊進一步將MFSN陣列與脈沖神經網絡結合，構建了一種人工多模態感知系統，成功模擬了人體軀體感覺系統中的多模態信息（溫度和壓力）感知和多模態物體（即不同溫度、重量和形狀的物體）的分類能力。

前述成果有助于在未來進一步構建高效的多模態脈沖感知系統，并為發展高智能機器人技術提供新思路。澎湃新聞記者 王蕙蓉