包括圖靈在內(nèi)的大部分研究者都認(rèn)為人能夠按照自己的經(jīng)驗(yàn)做出正確的決定，而智能機(jī)器也應(yīng)該和人類一樣來完成這些決定，因此我們的工作就簡(jiǎn)化成為在智能測(cè)試中去判斷智能機(jī)器是否完成了和人類一樣的決定。
但是在某些情況下，哪怕是人類也很難確定什么是正確的，例如著名的鐵軌問題：你是一輛剎車失靈的火車司機(jī)，在你前面的鐵軌上有5個(gè)人被綁在軌道上，你可以選擇切換到另外軌道，另外那條軌道上只有1個(gè)人綁在鐵軌上，那么請(qǐng)問你會(huì)選擇撞死5個(gè)人還是切換軌道撞死1個(gè)人？對(duì)于這個(gè)問題本文中不做更多的討論，即使是人類，在這個(gè)問題上都很難做出“正確的”決定，更何況智能機(jī)器？所以在本文中我們不去討論這些問題，我們也不會(huì)為倫理問題設(shè)置智能性測(cè)試。

4.2. 測(cè)試結(jié)果的自動(dòng)實(shí)時(shí)分析

圖靈測(cè)試和現(xiàn)在很多新的智能測(cè)試的區(qū)別在于，圖靈測(cè)試用人來做判定，而新的智能測(cè)試使用的是機(jī)器來做判定。之所以這么做的原因在于我們清晰的定義了任務(wù)，同時(shí)很多情況下沒有機(jī)器的幫助人很難完成正確的判定。

以智能車測(cè)試為例，為了節(jié)約成本，我們往往在某一條測(cè)試路線上設(shè)置了多個(gè)測(cè)試任務(wù)，車輛需要不停歇的完成多個(gè)測(cè)試任務(wù)。

例如在中國智能車未來挑戰(zhàn)賽中就設(shè)置了14個(gè)測(cè)試任務(wù)，分別是U-Turn，通過T字型路口，通過十字路口，避讓作業(yè)車，隧道，停止標(biāo)志，避讓行人，右轉(zhuǎn)，鄉(xiāng)村道路，避讓自行車，施工區(qū)域，限速，停車。車輛需要連續(xù)通過這些任務(wù)點(diǎn)，為了能夠自動(dòng)測(cè)評(píng)，我們需要使用V2X設(shè)備連接車輛上的傳感器和數(shù)據(jù)中心，上傳車輛數(shù)據(jù)到數(shù)據(jù)中心來完成自動(dòng)測(cè)評(píng)。

圖9. 智能車比賽測(cè)試項(xiàng)

青島慧拓智能機(jī)器有限公司聯(lián)合清華大學(xué)一起開發(fā)了自動(dòng)測(cè)評(píng)系統(tǒng)并成功應(yīng)用于此次比賽中。如圖10所示，左邊展示的是正在比賽中的5輛車的實(shí)時(shí)軌跡和實(shí)時(shí)排名，右邊屏幕里是實(shí)時(shí)的視頻回傳數(shù)據(jù)，展示著裁判車數(shù)據(jù)，比賽車輛數(shù)據(jù)，以及場(chǎng)邊攝像頭數(shù)據(jù)。這些數(shù)據(jù)通過V2X或者4G的方式傳回?cái)?shù)據(jù)中心。

在2009年-2015年的比賽中，比賽由裁判來人工打分，這種方式比較主觀，也非常耗時(shí)。在2017年比賽中，大部分的任務(wù)可以通過回傳過來的數(shù)據(jù)實(shí)現(xiàn)自動(dòng)打分。我們同樣能夠通過深度學(xué)習(xí)的方式用視覺的方式來檢查車輛是否有壓線，來實(shí)現(xiàn)自動(dòng)打分，如圖11所示。

圖10. 智能車比賽實(shí)時(shí)評(píng)測(cè)

圖11. 實(shí)時(shí)壓線檢測(cè)

4.3. 駕駛員在環(huán)測(cè)試

按照上文中說到，我們最終的目的是讓機(jī)器代替人來評(píng)價(jià)智能性測(cè)試結(jié)果。但是目前階段，這種情況卻難以完全實(shí)現(xiàn)。

首先，測(cè)試任務(wù)的描述需要由人類專家來完成。所有的任務(wù)描述都是使用人類語言，目前也并沒有一種計(jì)算機(jī)語言能夠更好的完成該任務(wù)。機(jī)器的智能水平往往受限于它的設(shè)計(jì)者，所以我們最終總是還是需要用人類的智慧來在衡量測(cè)試結(jié)果的基礎(chǔ)上提升機(jī)器的智能性水平。

其次，人類專家能夠按照自己的經(jīng)驗(yàn)更好的幫助機(jī)器設(shè)計(jì)那些極限的測(cè)試任務(wù)。

最后，人類是智能性測(cè)試的最后決策者，往往由機(jī)器做出的判斷還要由人類來檢查。就像在2017年中國智能車未來挑戰(zhàn)賽中視頻回傳系統(tǒng)就是方便人類專家隨時(shí)能夠監(jiān)督智能車的表現(xiàn)，這能夠讓人類和自動(dòng)打分系統(tǒng)同時(shí)以對(duì)方的判斷為基礎(chǔ)改善自己的評(píng)判能力。

4.4. 用測(cè)試來進(jìn)行智能水平分級(jí)

SAE把汽車自動(dòng)化水平分為從無自動(dòng)化到完全自動(dòng)化六個(gè)級(jí)別，但是在該分級(jí)體系中并沒有給出明確的需要完成的任務(wù)?，F(xiàn)在有更多人認(rèn)為，只有明確了分級(jí)系統(tǒng)中的測(cè)試任務(wù)，才能更好的對(duì)汽車智能性水平進(jìn)行分級(jí)。