3.1.2. 任務(wù)的驗(yàn)證

第二個困境是：如何保證被測智能機(jī)器在所遇到的所有場景中表現(xiàn)出其行為的一致性。因此需要保證任務(wù)測試的枚舉性/覆蓋性。

通俗的講，我們可以把任務(wù)看作是對智能機(jī)器測試的輸入，如果完成該任務(wù)，輸出“是”，反之輸出“否”。對于一些相對簡單的智能性測試，通過枚舉所有可能的任務(wù)組合，我們可以窮盡可能的交通場景。如果車輛能通過所有這些場景，則車輛將足夠智能。但由于任務(wù)空間的時空連續(xù)性，枚舉是不可能完成的。因此，必須依賴虛擬采樣測試來加大如何合理采樣，在降低場景生成復(fù)雜度的同時，提升測試覆蓋性成為測試的關(guān)鍵技術(shù)。通過記錄受試車輛和其他車輛的軌跡，我們可以定量刻畫車輛的智能水平(駕駛性能)。

3.1.3. 仿真測試的設(shè)計

為了在有限的時間和財力內(nèi)盡量解決任務(wù)覆蓋問題，現(xiàn)在的研究者多采取仿真測試來彌補(bǔ)實(shí)地測試的不足[4]。由此出發(fā)，研究者進(jìn)一步研究了如下諸多衍生問題：

1）如何保證虛擬測試中虛擬物行為的真實(shí)性；

2）如何保證虛擬測試中虛擬物表現(xiàn)的豐富性；

3）如何保證虛擬測試中場景和任務(wù)的覆蓋性；

4）如何實(shí)現(xiàn)虛擬測試中機(jī)器判定的正確性。

例如在仿真測試方面，目前的無人駕駛車輛研究者考慮了如何從現(xiàn)實(shí)采集的2D圖像數(shù)據(jù)中提取物體的3D屬性，并在3D引擎中重新渲染并產(chǎn)生新的2D虛擬測試數(shù)據(jù)。而另外一些研究者則考慮了如何基于生成式對抗網(wǎng)絡(luò)來直接從2D實(shí)測圖像數(shù)據(jù)來生成新的2D虛擬測試數(shù)據(jù)。

再者，測試標(biāo)準(zhǔn)的設(shè)定也是研究者探討的熱點(diǎn)之一。對于駕駛這類典型的多目標(biāo)問題，如何評價不同算法的優(yōu)劣并設(shè)計適應(yīng)不同用戶要求的測試標(biāo)準(zhǔn)尚有很大的難度。

3.1.4. 測試指標(biāo)的設(shè)定

測試指標(biāo)的設(shè)定的方法有幾種，第一種是要求智能機(jī)器做出類似人的行為表現(xiàn)。這種方法里首先需要確定人在完成該任務(wù)時會如何表現(xiàn)，然后再根據(jù)智能機(jī)器在完成該任務(wù)的過程中的表現(xiàn)和人的表現(xiàn)的區(qū)別來做判定。

第二種測試指標(biāo)設(shè)定方式是要求智能機(jī)器有最好的表現(xiàn)。比如，在設(shè)計針對圍棋的人工智能機(jī)器時，我們要求其能夠一直勝利，而不是像一個人類選手的方式去下棋。對于這一類目標(biāo)相對簡單的情況下，這種方式更加合適。在智能車測試中，目標(biāo)往往比較復(fù)雜，不能像圍棋一樣以贏得棋局為目標(biāo)，需要考慮行駛安全性，速度，燃油效率等其他復(fù)雜的因素。以不同的因素為目標(biāo)會導(dǎo)致完全不同的設(shè)計。例如在2016，2017年的中國無人車未來挑戰(zhàn)賽中，智能車通過設(shè)定的10個特定場景任務(wù)的時間被作為評價指標(biāo)之一，如果發(fā)生了碰撞，壓線，闖紅燈，也會扣去相應(yīng)的分?jǐn)?shù)。當(dāng)人的感受被納入考察因素的時候，考慮到每個人對于同一件事物的感受都會有一定的區(qū)別，測試指標(biāo)的設(shè)定會變的更加艱難。

3.2. 智能車的智能性測試

我們這里以智能車的智能性測試為例，來說明我們的觀點(diǎn)：

3.3.1. 智能性測試中測試任務(wù)的設(shè)定

傳統(tǒng)的無人駕駛車輛智能測試主要分為兩大流派：場景測試流派和功能測試流派。

1) 場景測試

往往是指處在特定時空中的測試系統(tǒng)。例如，交通場景一般指的是由眾多交通參與者和特定道路環(huán)境共同構(gòu)成的交通系統(tǒng)。如果受試車輛能夠自主行駛通過該交通系統(tǒng)，則稱為通過該特定場景的駕駛測試。例如DARPA 2005 年無人車挑戰(zhàn)賽便選取了212 公里的沙漠道路作為測試場景(其實(shí)2004年也是選擇了沙漠作為測試場景，但是“全軍覆沒”，相比之下，2005年則是一段光輝歲月)(Grand Challenge 2005)。DARPA 2007 年無人車挑戰(zhàn)賽則選取了96 公里的城市道路作為測試場景(Urban Challenge 2007)。

2) 功能測試