浙大研究團隊提出新路徑:把人腦理解世界的方式教給 AI

robot
摘要生成中

null

大模型一直在變大,主流觀點認為模型參數越多,就會越接近人類思考的方式。然而浙大團隊4月1日在Nature Communications上發表的一篇論文則提出了不同的觀點(原文連結: 2206 萬增加到 3.0437 億後,具體概念任務從 74.94% 升到 85.87%,抽象概念任務從 54.37% 降到 52.82%。

人腦和模型思考方式的差異

人腦處理概念時,會先形成一套分類關係。天鵝和貓頭鷹長得不一樣,人還是會把牠們放進鳥這一類。再往上,鳥和馬還能繼續放進動物這一層。人看到新東西時,常常會先想,它和以前見過的什麼東西像,大概屬於哪一類。人會持續學習新概念,再把經驗整理起來,用這套關係去辨識新事物、適應新情境。

模型也會分類,但形成方式不同。它主要靠大規模資料裡反覆出現的形式。具體對象出現得越多,模型越容易把它認出來。到了更大的類別這一步,模型就比較吃力了。它需要抓住多個對象之間的共同點,再把這些共同點歸到同一類裡。現有模型在這裡還有明顯短板。參數繼續增大後,具體概念任務會提升,而抽象概念任務有時還會下降。

人腦和模型的共同點,是內部都會形成一套分類關係。但是雙方的側重點不同,人腦的高階視覺區域會自然分出生物和非生物這類大類。而模型能把具體對象分開,但很難去穩定形成這種更大的分類。這個差別導致人腦更容易把舊經驗用到新對象上,所以面對沒見過的東西時,我們能快速分類。而模型則更依賴既有知識,所以遇到新對象時,更容易停留在表面特徵上。論文提出的方法,就是圍繞這個特點展開,用腦訊號去約束模型內部結構,讓它更接近人腦的分類方式。

浙大團隊的解決方案

團隊給出的解決方案也很獨特,並不是繼續堆參數,而是拿少量腦訊號做監督。這裡的腦訊號,來自人看圖片時的大腦活動記錄。論文原文寫的是,把 human conceptual structures transfer 给 DNNs。意思就是把人腦怎麼分類、怎麼歸納、怎麼把相近概念放在一起,盡量教給模型。

團隊用 150 個已知的訓練類別和 50 個沒見過的測試類別做實驗。結果顯示,隨著這套訓練推進,模型和腦表徵之間的距離持續縮小。這個變化同時出現在兩個類別中,這說明模型學到的不是單個樣本,而是真正開始學習一種更接近人腦的概念組織方式。

經過這套訓練後,模型在樣本很少時的學習能力更強,面對新情況時表現也更好了。在一個只給極少示例、卻要求模型區分生物和非生物這類抽象概念的任務裡,模型平均提升了 20.5%,還超過了參數量大得多的對照模型。團隊還另外做了 31 組專門測試,幾類模型都出現了接近一成的提升。

過去幾年,模型產業熟悉的路徑是更大的模型規模。浙大團隊則選擇了另一個方向,從bigger is better 走向 structured is smarter。規模擴張確實很有用,但主要提高的是熟悉任務裡的表現。人類那種抽象理解和遷移能力對AI來說同樣至關重要,這需要在未來讓AI的思考結構更加接近人腦。這個方向的價值,在於它把產業注意力從單純的規模擴張,重新拉回到認知結構本身。

Neosoul與未來

這引出了一個更大的可能性,AI 的進化,未必只發生在模型訓練階段。模型訓練可以決定AI怎樣組織概念,怎樣形成更高品質的判斷結構。再進入真實世界之後,AI的另一層進化才剛開始:AI agent 的判斷如何被記錄,如何被檢驗,如何在真實的互相競爭中不斷成長進化,如同人類般自我學習自我進化。這也正是Neosoul現在所做的。Neosoul不只是讓AI agent 產出答案,而是把AI agent 放進一個持續預測、持續驗證、持續結算、持續篩選的系統裡,讓其不斷在預測與結果中優化自身,讓更好的結構被保留,讓更差的結構被淘汰。浙大團隊與Neosoul共同指向的,其實是同一個目標:讓 AI 不再只會做題,更是要具備全面的思考能力,不斷進化。

查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 留言
  • 轉發
  • 分享
留言
請輸入留言內容
請輸入留言內容
暫無留言