功耗毫瓦級!基于注意力機制的類腦芯片問世
發(fā)布時間:2024.06.03        閱讀次數(shù):

人腦能夠運行復雜且龐大的神經(jīng)網(wǎng)絡,總功耗卻僅約20瓦,遠小于現(xiàn)有的人工智能系統(tǒng)。因此,在算力比拼加速、能耗日益攀升的今天,借鑒人腦的低功耗特性發(fā)展新型智能計算系統(tǒng)成為極具潛力的方向。

近日,中國科學院自動化研究所李國齊、徐波課題組與時識科技公司等單位合作設計了一套能夠?qū)崿F(xiàn)動態(tài)計算的算法—軟件—硬件協(xié)同設計的類腦神經(jīng)形態(tài)SOC(System on Chip,系統(tǒng)級芯片)“Speck”,展示了類腦神經(jīng)形態(tài)計算在融合高抽象層次大腦機制時的天然優(yōu)勢,相關研究在線發(fā)表于《自然·通訊》。

該研究提出了“神經(jīng)形態(tài)動態(tài)計算”的概念,設計了一種類腦神經(jīng)形態(tài)芯片“Speck”,來實現(xiàn)基于注意力機制的動態(tài)計算。該芯片在硬件層面做到“沒有輸入,沒有功耗”,在算法層面做到“有輸入時,根據(jù)輸入重要性程度動態(tài)調(diào)整計算”,從而在典型視覺場景任務功耗可低至0.7毫瓦,進一步挖掘了神經(jīng)形態(tài)計算在性能和能效上的潛力。

Speck是一款異步感算一體類腦神經(jīng)形態(tài)SoC,采用全異步設計,在一塊芯片上集成了動態(tài)視覺傳感器(DVS相機)和類腦神經(jīng)形態(tài)芯片,具有極低的靜息功耗(僅為0.42毫瓦)。Speck能夠以微秒級的時間分辨率感知視覺信息,并以全異步方式設計替代了全局時鐘控制信號,避免時鐘空翻帶來的能耗開銷,僅在有事件輸入時才觸發(fā)稀疏加法運算。

針對脈沖神經(jīng)網(wǎng)絡(SNN)在更高層面,比如時間維度中不能根據(jù)輸入難易度調(diào)整其脈沖發(fā)放等“動態(tài)失衡”問題,該研究基于注意力機制的神經(jīng)形態(tài)脈沖動態(tài)計算框架,在多種粒度上實現(xiàn)對不同的輸入進行有區(qū)分地動態(tài)響應;同時Speck軟件工具鏈Sinabs編程框架支持動態(tài)計算SNN算法訓練和部署。實驗結果表明,注意力機制可使得SNN具備動態(tài)計算能力,即根據(jù)輸入難易度調(diào)整其脈沖發(fā)放模式解決“動態(tài)失衡”問題,在顯著降低功耗的同時,提升任務性能。在DVS128 Gesture數(shù)據(jù)集上,融合脈沖動態(tài)計算的Speck在任務精度提升9%的同時,平均功耗由9.5毫瓦降低至3.8毫瓦。  

該工作的實踐證實,高、低抽象層次大腦機制的融合能進一步激發(fā)類腦計算潛力,這為以后將大腦進化過程中產(chǎn)生的各種高級神經(jīng)機制融合至神經(jīng)形態(tài)計算提供了積極啟發(fā)。

相關工作得到了國家杰出青年科學基金、北京市杰出青年基金、國家自然科學基金委重點項目、區(qū)域創(chuàng)新聯(lián)合重點項目等項目的支持。