異構(gòu)融合的人工智能是一種多模態(tài)系統(tǒng)。駕駛自行車就是一個(gè)多模態(tài)任務(wù),它需要語(yǔ)音識(shí)別,也需要視覺(jué)識(shí)別和追蹤,這需要自行車上的電機(jī)或者傳感器來(lái)發(fā)送和接受信息數(shù)據(jù),而系統(tǒng)對(duì)兩者信息處理的編碼模式是不一樣的,這就是所謂多模態(tài)。那么這個(gè)復(fù)雜的多模態(tài)任務(wù)就成了施路平團(tuán)隊(duì)驗(yàn)證其異構(gòu)融合成果的展示平臺(tái)。
對(duì)于“天機(jī)芯”的未來(lái)應(yīng)用前景,裴京表示,由于這是一款異構(gòu)融合芯片,因此不管是深度學(xué)習(xí)加速器還是神經(jīng)形態(tài)芯片能夠做到的事情,“天機(jī)芯”都能完成。同時(shí),兩者的結(jié)合能夠完成一些原本單獨(dú)無(wú)法完成的任務(wù)。
比如在運(yùn)動(dòng)視頻分析中,若使用機(jī)器學(xué)習(xí)算法模型,由于傳感器輸出數(shù)據(jù)的速度有限且數(shù)據(jù)量大,通常會(huì)造成卡頓;用神經(jīng)形態(tài)的方法,雖然數(shù)據(jù)量較少,但同時(shí)精度也會(huì)降低不少。而將兩種模態(tài)結(jié)合后,則能在兩者之間在代價(jià)和功能方面進(jìn)行很好的平衡。
除了無(wú)人自行車,該芯片在自動(dòng)駕駛汽車、智能機(jī)器人等領(lǐng)域上也有極大的發(fā)揮空間。此外,因其低能耗、低成本,這個(gè)芯片會(huì)在家庭和服務(wù)性場(chǎng)景中得到廣泛應(yīng)用。
據(jù)施路平透露,目前,“天機(jī)芯”已經(jīng)在北京靈汐科技有限公司開始進(jìn)行下一步開發(fā)。
專訪施路平團(tuán)隊(duì):如何理解異構(gòu)融合?
DeepTech:如何理解異構(gòu)融合?為什么說(shuō)將類腦計(jì)算和機(jī)器學(xué)習(xí)融合是一個(gè)更好的做法?
施路平:異構(gòu)融合有基于電腦的一套計(jì)算范式,也有基于人腦的一套計(jì)算范式,從大的思路上來(lái)講,我們希望把這兩個(gè)范式能夠融合起來(lái),因?yàn)樗奶攸c(diǎn)是能夠互補(bǔ)。
我們認(rèn)為現(xiàn)在的計(jì)算機(jī)是將多維的信息轉(zhuǎn)換成一維的信息流,主頻越來(lái)越快,換句話說(shuō)這是利用了時(shí)間復(fù)雜度;而在人腦中,一個(gè)神經(jīng)元連接著 1 千到 1 萬(wàn)個(gè)神經(jīng)元,這是利用了空間復(fù)雜度,且大腦是利用脈沖進(jìn)行編碼,換句話說(shuō)這就引入了時(shí)間復(fù)雜度,因此代表了時(shí)空復(fù)雜度。
類腦計(jì)算就同時(shí)具備了空間復(fù)雜度和時(shí)空復(fù)雜度,這就是異構(gòu)融合。事實(shí)上,異構(gòu)融合的架構(gòu)包含了多層的信息,有類腦和電腦的融合、計(jì)算和存儲(chǔ)的融合、空間復(fù)雜性和時(shí)間復(fù)雜性的融合、空間編碼和時(shí)間編碼的融合,還有精確計(jì)算和近似計(jì)算的融合。
DeepTech:在實(shí)現(xiàn)通用人工智能的過(guò)程里,將人腦思維、計(jì)算機(jī)思維結(jié)合到一起的做法是不是業(yè)界、學(xué)界的共識(shí)?是否有其他的實(shí)現(xiàn)路徑?
施路平:將兩者結(jié)合的方法得到了很多業(yè)界人士和學(xué)者的認(rèn)可,但核心的難度在于這是一個(gè)跨學(xué)科的研究,因此能夠組織起多個(gè)院系共同研究的團(tuán)隊(duì)還不多。
此前所有來(lái)到清華交流的學(xué)術(shù)團(tuán)隊(duì)都認(rèn)為我們這種交融和交叉模式是最成功的一個(gè)類腦計(jì)算的模式。同時(shí)歐洲也有團(tuán)隊(duì)將這種融合的模式作為一個(gè)課題提出。
DeepTech:如果是說(shuō)我有兩個(gè)芯片,一個(gè)芯片是類腦芯片,一個(gè)是電腦芯片,那么兩個(gè)芯片能在同一個(gè)機(jī)器人身上運(yùn)行實(shí)現(xiàn)異構(gòu)融合效果嗎?
施路平:這樣不能實(shí)現(xiàn)異構(gòu)融合。你這個(gè)問(wèn)題在論文審稿的過(guò)程當(dāng)中討論過(guò)。從原理上講可以,但是從實(shí)際上講很難。為什么很難??jī)蓚€(gè)芯片有不同的接口,其速度、性質(zhì)、編碼匹配,運(yùn)行起來(lái)很困難。經(jīng)過(guò)了反復(fù)論證,審稿人最后接受了我們的解釋。
有審稿人問(wèn),同一個(gè)芯片上兩個(gè)模塊的協(xié)作和兩個(gè)不同模塊的芯片協(xié)作有何不同?要理解這個(gè)太復(fù)雜了。這相當(dāng)于大腦的黑匣子,我們對(duì)大腦知之甚少,對(duì)左腦和右腦的協(xié)作知之甚少。這也是我們碰到的最難的問(wèn)題之一。
DeepTech:在這個(gè)無(wú)人自行車試驗(yàn)中,我們能看到的哪些方面(或功能)是體現(xiàn)模擬人類大腦的,哪些方面(或功能)是體現(xiàn)機(jī)器學(xué)習(xí)算法的?
鄧?yán)?/strong>:自行車的語(yǔ)音識(shí)別、環(huán)境感知、平衡控制、避障等功能都需要背后的模型算法提供支持才能實(shí)現(xiàn),這其中就包括了不同模態(tài)的模型。如語(yǔ)音識(shí)別、自主決策以及視覺(jué)追蹤是模擬大腦的,而目標(biāo)探測(cè)、運(yùn)動(dòng)控制以及躲避障礙等,則需要通過(guò)機(jī)器學(xué)習(xí)算法完成。