近些年來，很多人工智能系統(tǒng)都是使用大量帶有標(biāo)記的數(shù)據(jù)來進行學(xué)習(xí)的，這就像學(xué)生整個學(xué)期都沒來上課，然后在期末考試前一晚死記硬背，雖然取得了好成績，卻并沒有真正理解知識。

但是，《量子雜志》（Quanta Magazine）8月11日發(fā)表文章稱，一些計算神經(jīng)科學(xué)家開始嘗試使用含有少量甚至沒有人工標(biāo)記的數(shù)據(jù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，并在模擬人類語言以及最新的圖像識別方面已經(jīng)頗有成效。人工網(wǎng)絡(luò)似乎逐漸展現(xiàn)出人類大腦的實際學(xué)習(xí)方式。

(相關(guān)資料圖)

十年來，許多最出色的人工智能系統(tǒng)都是使用大量帶有標(biāo)記的數(shù)據(jù)來進行學(xué)習(xí)的。例如，一個圖像可能被標(biāo)記為“虎斑貓”或“山貓”，以便“訓(xùn)練”人工神經(jīng)網(wǎng)絡(luò)正確區(qū)分二者。這一方法取得了驚人的成功，卻也存在著嚴(yán)重的缺陷。

這種“有監(jiān)督”的訓(xùn)練需要人工耗時費力地標(biāo)記數(shù)據(jù)，而神經(jīng)網(wǎng)絡(luò)往往會走捷徑，把標(biāo)記與最少的信息相關(guān)聯(lián)，這些信息往往只是表面的。例如，神經(jīng)網(wǎng)絡(luò)也許會根據(jù)草的存在來識別一張奶牛的照片，因為奶牛通常是在田間被拍攝的。

加州大學(xué)伯克利分校（University of California，Berkeley）的計算機科學(xué)家阿列克謝·埃夫羅斯（Alexei Efros）談到，“我們正在培養(yǎng)一代算法，這種算法就好比本科生整個學(xué)期都沒來上課，然后在期末考試前一晚死記硬背，其實他們并沒有真正理解這些資料，但他們在考試中表現(xiàn)很好。”

并且，對于關(guān)注動物與機器智能交叉領(lǐng)域的研究人員來說，這種“監(jiān)督學(xué)習(xí)”在揭示生物大腦方面可能受到限制。而包括人類在內(nèi)的動物不是通過標(biāo)記數(shù)據(jù)集進行學(xué)習(xí)的。通常而言，動物們會通過自己探索環(huán)境而對世界產(chǎn)生豐富而有力的了解。

目前，一些計算神經(jīng)科學(xué)家開始嘗試使用含有少量甚至沒有人工標(biāo)記的數(shù)據(jù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。這些“自監(jiān)督學(xué)習(xí)”算法在模擬人類語言以及最新的圖像識別方面已經(jīng)頗有成效。在最近的研究中，與監(jiān)督學(xué)習(xí)得到的模型相比，使用自監(jiān)督學(xué)習(xí)算法構(gòu)建的哺乳動物視覺和聽覺系統(tǒng)的計算模型更接近大腦功能。在一些神經(jīng)科學(xué)家看來，人工網(wǎng)絡(luò)似乎逐漸展現(xiàn)出人類大腦的實際學(xué)習(xí)方式。

有缺陷的監(jiān)督

受人工神經(jīng)網(wǎng)絡(luò)啟發(fā)的大腦模型大約在10年前就成熟了，幾乎同時，一個名為AlexNet的神經(jīng)網(wǎng)絡(luò)徹底革新了分類未知圖像的方法。與所有神經(jīng)網(wǎng)絡(luò)一樣，該網(wǎng)絡(luò)由多層人工神經(jīng)元組成，這些計算單元相互連接，關(guān)聯(lián)的強度或“權(quán)重”可能不同。如果神經(jīng)網(wǎng)絡(luò)無法正確分類圖像，學(xué)習(xí)算法將更新神經(jīng)元之間關(guān)聯(lián)的權(quán)重，以減少下一輪訓(xùn)練中出現(xiàn)錯誤分類的可能性。這個過程循環(huán)往復(fù)，直到錯誤率降低至可以接受的程度。

隨之，神經(jīng)科學(xué)家使用AlexNet及其衍生的神經(jīng)網(wǎng)絡(luò)，研發(fā)出了靈長類視覺系統(tǒng)的第一個計算模型。這種合并看起來很有前景：例如，當(dāng)猴子和人工神經(jīng)網(wǎng)絡(luò)看到相同的圖像時，真實神經(jīng)元和人工神經(jīng)元的活動表現(xiàn)出有趣的對應(yīng)關(guān)系。研究還檢測了它們在聽覺和氣味上的反應(yīng)。

但隨著該領(lǐng)域的發(fā)展，研究人員意識到了監(jiān)督訓(xùn)練的局限性。例如，2017年，當(dāng)時在德國圖賓根大學(xué)（University of Tübingen）工作的計算機專家利昂·蓋蒂斯（Leon Gatys）和他的同事拍攝了一張福特T型車的照片，并在照片上覆蓋豹皮圖案，生成了一張奇異而可辨的圖像。先進的人工神經(jīng)網(wǎng)絡(luò)將原始圖像正確分類為福特T型車，但將修改后的圖像誤認(rèn)為豹子。這一案例表明，它專注于紋理，卻不了解汽車（或豹子）的形狀。

加州大學(xué)的計算機科學(xué)家阿列克謝·埃夫羅斯認(rèn)為，大多數(shù)現(xiàn)代人工智能系統(tǒng)太依賴人類創(chuàng)建的標(biāo)簽，“他們并沒有真正在學(xué)習(xí)材料。”

自監(jiān)督學(xué)習(xí)策略則旨在避免此類問題。在這種方法中，人類不需要標(biāo)記數(shù)據(jù)。相反，“標(biāo)記來自數(shù)據(jù)本身，”來自瑞士巴塞爾的弗里德里希·米謝爾生物醫(yī)學(xué)研究所（Friedrich Miescher Institute for Biomedical Research）的計算神經(jīng)學(xué)家弗里德曼·澤克（Friedemann Zenke）說道。自監(jiān)督算法本質(zhì)上是在數(shù)據(jù)中創(chuàng)建空白，并要求神經(jīng)網(wǎng)絡(luò)填補它們。例如，在所謂的大型語言模型中，訓(xùn)練算法將向神經(jīng)網(wǎng)絡(luò)顯示句子的前幾個單詞，要求它預(yù)測下一個單詞。當(dāng)使用從互聯(lián)網(wǎng)上收集的大量文本語料庫進行訓(xùn)練時，該模型似乎可以領(lǐng)會語言的句法結(jié)構(gòu)，然后展現(xiàn)令人印象深刻的語言能力——而所有的這些行為都沒有借助外部標(biāo)記或監(jiān)督。

計算機視覺領(lǐng)域也在進行類似的工作。2021年底，Kaiming He和同事們展示了他們的“蒙面自動編碼器”，該編碼器以埃夫羅斯團隊在2016年開創(chuàng)的技術(shù)為基礎(chǔ)。自監(jiān)督學(xué)習(xí)算法隨機遮蔽圖像，幾乎遮擋了每幅圖像的四分之三。該自動編碼器將未遮蔽部分轉(zhuǎn)換為隱層表示，即包含有關(guān)對象重要信息的被壓縮過的數(shù)學(xué)表示（對于圖像來說，隱層表示可能是一種數(shù)學(xué)描述，其中包括捕捉圖像中物體的形狀等信息）。然后解碼器將這些表示轉(zhuǎn)換成完整圖像。

自監(jiān)督學(xué)習(xí)算法將編碼器和解碼器組合并訓(xùn)練，以將殘缺圖像恢復(fù)為完整版本。真實圖像和重建圖像之間的任何差異都會反饋到系統(tǒng)中，幫助系統(tǒng)學(xué)習(xí)。該過程對一組訓(xùn)練圖像重復(fù)，直到系統(tǒng)的錯誤率變得適當(dāng)?shù)汀Ｔ谝粋€案例中，一個經(jīng)過訓(xùn)練的蒙面自動編碼器成功恢復(fù)了一個幾乎被遮擋了80%的巴士圖像，系統(tǒng)成功重建了巴士的結(jié)構(gòu)。

“這是一個非常非常令人印象深刻的結(jié)果。”埃夫羅斯說。

相比先前的算法，這樣的系統(tǒng)創(chuàng)建的隱層表示包含更深層信息。例如，該系統(tǒng)可以學(xué)習(xí)汽車或豹子的形狀，而不僅僅是它們的圖案。埃弗羅斯說：“從下到上積累知識，這就是自監(jiān)督學(xué)習(xí)的基本理念。”不要為了通過考試而臨時抱佛腳。

自我監(jiān)督的大腦

在這樣的系統(tǒng)中，一些神經(jīng)科學(xué)家看到了人腦學(xué)習(xí)的反饋方式。麥吉爾大學(xué)和魁北克人工智能研究所（Mila）的計算神經(jīng)科學(xué)家布萊克·理查茲（Blake Richards）表示：“毫無疑問，大腦90%的活動是自監(jiān)督學(xué)習(xí)。”生物大腦被認(rèn)為是在不斷預(yù)測，比如說，一個物體移動時的未來位置，或者句子中的下一個單詞，就像一個自監(jiān)督學(xué)習(xí)算法試圖預(yù)測圖像或文本片段中的間隙一樣。大腦也會從自己的錯誤中學(xué)習(xí)，我們大腦的反饋只有一小部分來自外部，基本上是明確提示的“錯誤答案”。

計算神經(jīng)科學(xué)家布萊克·理查茲幫助創(chuàng)建了可以模仿大腦視覺網(wǎng)絡(luò)的人工智能。

參考人類和其他靈長類動物的視覺系統(tǒng)，這些是所有動物感覺系統(tǒng)中被研究得最好的，但神經(jīng)科學(xué)家一直致力于解釋為什么它們包括兩個獨立的通路：腹側(cè)視覺流，負(fù)責(zé)識別物體和面部，以及背側(cè)視覺流，負(fù)責(zé)處理運動（分別是“什么”和“哪里”通路）。

理查茲和他的團隊創(chuàng)建了一個自監(jiān)督模型來尋求答案。他們訓(xùn)練了一種算法，結(jié)合兩種不同的神經(jīng)網(wǎng)絡(luò)：第一種稱為ResNet架構(gòu)，用于處理圖像；第二種稱為遞歸網(wǎng)絡(luò)，可以跟蹤一系列先前的輸入，以預(yù)測下一個預(yù)期輸入。為了訓(xùn)練組合的算法，團隊從一段視頻中抽取一個序列，比如第10幀開始，讓ResNet逐個處理。然后，遞歸網(wǎng)絡(luò)預(yù)測第11幀的潛在表示，而不是簡單地匹配前10幀。自監(jiān)督學(xué)習(xí)算法將預(yù)測值與實際值進行比較，并指導(dǎo)神經(jīng)網(wǎng)絡(luò)更新其權(quán)重，以優(yōu)化預(yù)測。

理查茲的團隊發(fā)現(xiàn)，使用單一ResNet訓(xùn)練的人工智能擅長對象識別，但不擅長運動分類。在不改變神經(jīng)元總數(shù)的情況下，當(dāng)他們將單個ResNet拆分為兩個，用以創(chuàng)建兩條通路時，人工智能將其中一個用于對象識別，另一個用于運動分類，從而能夠像我們的大腦一樣實現(xiàn)這些屬性的下游分類。

為了進一步測試人工智能，研究小組向其展示了西雅圖艾倫腦科學(xué)研究所（Allen Institute for Brain Science in Seattle）的研究人員此前向小鼠展示的一組視頻。與靈長類動物一樣，老鼠的大腦區(qū)域?qū)ｉT用于靜態(tài)圖像和運動。艾倫的研究人員在動物觀看視頻時記錄了小鼠視覺皮層的神經(jīng)活動。

同樣地，理查茲的團隊也發(fā)現(xiàn)了人工智能和活體大腦對視頻反應(yīng)的相似之處。在訓(xùn)練過程中，人工神經(jīng)網(wǎng)絡(luò)中的一條通路變得更類似于小鼠大腦的腹側(cè)目標(biāo)檢測區(qū)域，而另一條通路則類似于運動集中的背側(cè)區(qū)域。“研究結(jié)果表明，單一途徑還不足以很好地預(yù)測視覺，因此我們的視覺系統(tǒng)有兩條專門的路徑。”理查茲說。

人類聽覺系統(tǒng)的模型也講述了類似的故事。6月，Meta AI的科學(xué)家讓·雷米·金（Jean-Rémi King）領(lǐng)導(dǎo)的團隊訓(xùn)練了一種名為Wav2Vec 2.0的人工智能，使用神經(jīng)網(wǎng)絡(luò)將音頻轉(zhuǎn)換為隱層表示。研究人員隱藏了其中的一些表示，然后將其輸入到另一個稱為轉(zhuǎn)換器的神經(jīng)網(wǎng)絡(luò)組件中。在訓(xùn)練期間，轉(zhuǎn)換器預(yù)測被隱藏的信息。在這個過程中，整個人工智能學(xué)會了將聲音轉(zhuǎn)化為隱層表示——同樣，不需要標(biāo)簽。金說，該團隊使用了大約600小時的語音數(shù)據(jù)來訓(xùn)練網(wǎng)絡(luò)，“這大約是一個孩子在出生后兩年內(nèi)會獲取的經(jīng)歷”。

讓·雷米·金幫助訓(xùn)練的人工智能，通過模仿大腦的工作方式來處理音頻。

一旦該系統(tǒng)得到訓(xùn)練，研究人員就用英語、法語和中文普通話播放有聲讀物中的部分內(nèi)容。然后，研究人員將人工智能的性能與一個包含412人的數(shù)據(jù)進行了比較。這412人由以上述三種語言之一為母語的人混合組成，他們在功能性核磁共振成像掃描儀中對大腦進行成像的同時，也聽了相同的音頻片段。金說，盡管功能性核磁共振成像圖像分辨率低且粗糙，但神經(jīng)網(wǎng)絡(luò)和人腦“不僅相互關(guān)聯(lián)，而且以系統(tǒng)的方式相互關(guān)聯(lián)”：人工智能初級層的活動與初級聽覺皮層的活動一致，而人工智能最深層的活動與大腦更高層（在該研究中即前額葉皮層）的活動一致。“這是非常漂亮的數(shù)據(jù)，”理查茲說。“這不是結(jié)論，但這是另一個令人信服的證據(jù)，事實表明，我們學(xué)習(xí)語言在很大程度上是通過預(yù)測接下來要說的話。”

未解決的反常問題

不過這種結(jié)論并不是每個人都信服。麻省理工學(xué)院的計算神經(jīng)學(xué)家喬希·麥克德莫特（Josh McDermott）利用監(jiān)督學(xué)習(xí)和自監(jiān)督學(xué)習(xí)研究了視覺和聽覺感知模型。他的實驗室設(shè)計了一種合成音頻和視頻信號，對人類來說，這些信號只是難以理解的噪音，但在人工神經(jīng)網(wǎng)絡(luò)中與真實信號幾乎無法區(qū)分。這表明即使是自監(jiān)督學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)深層形成的表示，也與我們大腦中的表示不匹配。麥克德莫特說，這些自監(jiān)督學(xué)習(xí)方法“在某種意義上是一種進步，你不需要任何標(biāo)記就可以學(xué)習(xí)支持多種識別行為的表示。不過這種方法仍然有許多監(jiān)督模型的缺陷”。

算法本身也需要更多的改進。例如，在Meta AI的Wav2Vec 2.0中，人工智能只能預(yù)測幾十毫秒聲音的隱層表示，這比發(fā)出能夠在感知上區(qū)分的噪聲所需的時間還短，更不用說一個單詞了。金說：“要想讓人工智能像大腦一樣工作，依然任重而道遠。”

真正理解大腦功能，需要的不僅僅是自我監(jiān)督學(xué)習(xí)。一方面，大腦充滿了反饋連接，而當(dāng)前的模型幾乎沒有這種連接。研究工作的下一步顯然是使用自監(jiān)督學(xué)習(xí)來訓(xùn)練高度循環(huán)的網(wǎng)絡(luò)，并驗證這種網(wǎng)絡(luò)中的活動與真實的大腦活動相比如何。這是一個困難的過程。另一個關(guān)鍵步驟是將自監(jiān)督學(xué)習(xí)模型中人工神經(jīng)元的活動與單個生物神經(jīng)元的活動相匹配。“希望在未來，我們的研究結(jié)果也能通過單細(xì)胞記錄得到證實。”金說。

如果這些大腦和自監(jiān)督學(xué)習(xí)模型之間被觀察到的相似性也適用于其他感官，則將更有力地表明，無論我們的大腦有多大魔力，都需要某種形式的自我監(jiān)督學(xué)習(xí)。“如果我們真的在截然不同的系統(tǒng)之間找到了系統(tǒng)上的相似之處，這將表明也許大腦沒有那么多智能的方法處理信息。”金說，“至少，這是我們想要研究的一種美麗的假設(shè)。”