異構(gòu)融合的人工智能是一種多模態(tài)系統(tǒng)。駕駛自行車就是一個(gè)多模態(tài)任務(wù)，它需要語(yǔ)音識(shí)別，也需要視覺(jué)識(shí)別和追蹤，這需要自行車上的電機(jī)或者傳感器來(lái)發(fā)送和接受信息數(shù)據(jù)，而系統(tǒng)對(duì)兩者信息處理的編碼模式是不一樣的，這就是所謂多模態(tài)。那么這個(gè)復(fù)雜的多模態(tài)任務(wù)就成了施路平團(tuán)隊(duì)驗(yàn)證其異構(gòu)融合成果的展示平臺(tái)。

對(duì)于“天機(jī)芯”的未來(lái)應(yīng)用前景，裴京表示，由于這是一款異構(gòu)融合芯片，因此不管是深度學(xué)習(xí)加速器還是神經(jīng)形態(tài)芯片能夠做到的事情，“天機(jī)芯”都能完成。同時(shí)，兩者的結(jié)合能夠完成一些原本單獨(dú)無(wú)法完成的任務(wù)。

比如在運(yùn)動(dòng)視頻分析中，若使用機(jī)器學(xué)習(xí)算法模型，由于傳感器輸出數(shù)據(jù)的速度有限且數(shù)據(jù)量大，通常會(huì)造成卡頓；用神經(jīng)形態(tài)的方法，雖然數(shù)據(jù)量較少，但同時(shí)精度也會(huì)降低不少。而將兩種模態(tài)結(jié)合后，則能在兩者之間在代價(jià)和功能方面進(jìn)行很好的平衡。

除了無(wú)人自行車，該芯片在自動(dòng)駕駛汽車、智能機(jī)器人等領(lǐng)域上也有極大的發(fā)揮空間。此外，因其低能耗、低成本，這個(gè)芯片會(huì)在家庭和服務(wù)性場(chǎng)景中得到廣泛應(yīng)用。

據(jù)施路平透露，目前，“天機(jī)芯”已經(jīng)在北京靈汐科技有限公司開始進(jìn)行下一步開發(fā)。

專訪施路平團(tuán)隊(duì)：如何理解異構(gòu)融合?

DeepTech：如何理解異構(gòu)融合？為什么說(shuō)將類腦計(jì)算和機(jī)器學(xué)習(xí)融合是一個(gè)更好的做法？

施路平：異構(gòu)融合有基于電腦的一套計(jì)算范式，也有基于人腦的一套計(jì)算范式，從大的思路上來(lái)講，我們希望把這兩個(gè)范式能夠融合起來(lái)，因?yàn)樗奶攸c(diǎn)是能夠互補(bǔ)。

我們認(rèn)為現(xiàn)在的計(jì)算機(jī)是將多維的信息轉(zhuǎn)換成一維的信息流，主頻越來(lái)越快，換句話說(shuō)這是利用了時(shí)間復(fù)雜度；而在人腦中，一個(gè)神經(jīng)元連接著 1 千到 1 萬(wàn)個(gè)神經(jīng)元，這是利用了空間復(fù)雜度，且大腦是利用脈沖進(jìn)行編碼，換句話說(shuō)這就引入了時(shí)間復(fù)雜度，因此代表了時(shí)空復(fù)雜度。

類腦計(jì)算就同時(shí)具備了空間復(fù)雜度和時(shí)空復(fù)雜度，這就是異構(gòu)融合。事實(shí)上，異構(gòu)融合的架構(gòu)包含了多層的信息，有類腦和電腦的融合、計(jì)算和存儲(chǔ)的融合、空間復(fù)雜性和時(shí)間復(fù)雜性的融合、空間編碼和時(shí)間編碼的融合，還有精確計(jì)算和近似計(jì)算的融合。

DeepTech：在實(shí)現(xiàn)通用人工智能的過(guò)程里，將人腦思維、計(jì)算機(jī)思維結(jié)合到一起的做法是不是業(yè)界、學(xué)界的共識(shí)？是否有其他的實(shí)現(xiàn)路徑？

施路平：將兩者結(jié)合的方法得到了很多業(yè)界人士和學(xué)者的認(rèn)可，但核心的難度在于這是一個(gè)跨學(xué)科的研究，因此能夠組織起多個(gè)院系共同研究的團(tuán)隊(duì)還不多。

此前所有來(lái)到清華交流的學(xué)術(shù)團(tuán)隊(duì)都認(rèn)為我們這種交融和交叉模式是最成功的一個(gè)類腦計(jì)算的模式。同時(shí)歐洲也有團(tuán)隊(duì)將這種融合的模式作為一個(gè)課題提出。

DeepTech：如果是說(shuō)我有兩個(gè)芯片，一個(gè)芯片是類腦芯片，一個(gè)是電腦芯片，那么兩個(gè)芯片能在同一個(gè)機(jī)器人身上運(yùn)行實(shí)現(xiàn)異構(gòu)融合效果嗎？

施路平：這樣不能實(shí)現(xiàn)異構(gòu)融合。你這個(gè)問(wèn)題在論文審稿的過(guò)程當(dāng)中討論過(guò)。從原理上講可以，但是從實(shí)際上講很難。為什么很難？?jī)蓚€(gè)芯片有不同的接口，其速度、性質(zhì)、編碼匹配，運(yùn)行起來(lái)很困難。經(jīng)過(guò)了反復(fù)論證，審稿人最后接受了我們的解釋。

有審稿人問(wèn)，同一個(gè)芯片上兩個(gè)模塊的協(xié)作和兩個(gè)不同模塊的芯片協(xié)作有何不同？要理解這個(gè)太復(fù)雜了。這相當(dāng)于大腦的黑匣子，我們對(duì)大腦知之甚少，對(duì)左腦和右腦的協(xié)作知之甚少。這也是我們碰到的最難的問(wèn)題之一。

DeepTech：在這個(gè)無(wú)人自行車試驗(yàn)中，我們能看到的哪些方面（或功能）是體現(xiàn)模擬人類大腦的，哪些方面（或功能）是體現(xiàn)機(jī)器學(xué)習(xí)算法的？

鄧?yán)?/strong>：自行車的語(yǔ)音識(shí)別、環(huán)境感知、平衡控制、避障等功能都需要背后的模型算法提供支持才能實(shí)現(xiàn)，這其中就包括了不同模態(tài)的模型。如語(yǔ)音識(shí)別、自主決策以及視覺(jué)追蹤是模擬大腦的，而目標(biāo)探測(cè)、運(yùn)動(dòng)控制以及躲避障礙等，則需要通過(guò)機(jī)器學(xué)習(xí)算法完成。