文章目錄
論文題目：toLanein（手動駕駛中車道測量系統(tǒng)的數(shù)學側門功擊）
發(fā)表年份：2022-MM（ACMon,CCF-A）
作者信息：Han（南洋理工學院）,Xu（南洋理工學院）,YuanZhou*（南洋理工學院）,Yang（南洋理工學院）,JiweiLi（南洋理工學院）,Zhang（南洋理工學院）
備注：一篇關于Lane功擊的文獻
現(xiàn)代手動駕駛車輛采用最先進的DNN模型來解釋傳感數(shù)據(jù)和感知環(huán)境。但是，DNN模型容易遭到不同類型的對抗功擊，對汽車和旅客的安全構成重大風險。一個突出的恐嚇是側門功擊，敵手可以通過殘害訓練樣本來破壞DNN模型。雖然對傳統(tǒng)計算機視覺任務的側門功擊進行了大量的研究，但其在手動駕駛場景中的實用性和適用性還極少探求，尤其是在數(shù)學世界中。
本文的目標是車道測量系統(tǒng)，它是許多手動駕駛任務不可或缺的模塊，如導航、車道切換。設計并實現(xiàn)了針對該系統(tǒng)的第一次化學側門功擊。我們的功擊對不同類型的車道線檢查算法都是有效的。引入了兩種功擊方式(-和clean-)來世成中毒樣本。使用這種樣本，訓練好的車道測量模型會被側門感染，并可能被常見物體(如交通錐)激活，因而作出錯誤的檢查，致使汽車駛離公路或駛向旁邊車道。對公開數(shù)據(jù)集和化學手動駕駛車輛的廣泛評估表明，所提出的側門功擊是有效的、隱形的和魯棒的，可以抵抗各類防御解決方案。我們的代碼和實驗視頻可以在上找到。
1.
深度學習技術的快速發(fā)展，提升了手動駕駛車輛的感知能力，使其才能理解環(huán)境并作出智能行動。汽車從傳感搜集多種類型的數(shù)據(jù)，并使用DNN模型來完成不同的功能。車道線測量是一個重要的功能，借以從攝像頭拍攝的圖象或視頻中辨識出交通車道線。該功能對于手動駕駛的車道追隨、變道和會車至關重要。近些年來，大量基于深度學習的算法和技巧被引入，明顯增強了測量精度和實時性[17,22,24,31,35,36,46,47,67]。
不幸的是，過去的研究表明，深度神經網路模型不是魯棒的，很容易被惡意實體欺瞞。一個臭名昭著的恐嚇是DNN側門[12,13,32,57]。功擊者通過殘害訓練集在被害者模型中嵌入一個秘密側門。這個側門在正常輸入推測樣本中保持休眠狀態(tài)。它會被惡意樣本激活，這種樣本包含一個針對對手的觸發(fā)器，欺騙受感染的模型給出錯誤的預測。研究人員提出了各類針對計算機視覺[3,21,27,33,34,54,58]，自然語言處理[5,10,44,60]，加強學習[25,53,65]等DNN模型的新功擊。但是，沒有研究調查側門機會對車道檢查系統(tǒng)。
本文致力通過設計和實現(xiàn)化學世界中車道檢查DNN模型的第一個實際側門功擊來消弭這一差別。實現(xiàn)這一目標有幾個挑戰(zhàn)。首先，現(xiàn)有的工作主要集中在數(shù)字世界中的側門功擊，功擊者可以任意操縱輸入樣本來添加觸發(fā)器(比如，改變圖象中的一個象素塊)。因為數(shù)字世界和化學世界之間的語義差別，很難借助這種技術來功擊現(xiàn)實生活中的應用程序。一些作品隨即在現(xiàn)實世界中施行化學側門功擊[6,26,40,55,64]。但是，這種方式主要針對的是人臉分類模型。與之不同的是，車道測量模型不能預測標簽，這降低了有毒樣本生成的難度。據(jù)悉，功擊人臉分類模型所使用的數(shù)學觸發(fā)器，因為兩種場景的語義差別，難以應用于車道檢查。化學觸發(fā)器須要仔細地重新設計。
筆記：1.現(xiàn)有的工作集中在數(shù)字世界的側門功擊；2.因為數(shù)字世界和化學世界存在差別，很難用這種技術來功擊現(xiàn)實生活中的應用程序；3.一些工作隨即在現(xiàn)實世界中施行化學的側門功擊；4.但是這種方式主要是針對人臉分類模型的，車道測量模型不適用。
其次，為了使側門更具隱蔽性，過去的工作提出了針對分類模型的清潔標簽功擊（clean-label），其中中毒樣本依然具有正確的標簽，進而使模型妥協(xié)[43,66]。這是通過添加對抗性擾動來改變這種中毒樣本的類別來實現(xiàn)的。因為車道測量模型不能預測類別，因而很難借助這種解決方案來世成視覺上正常的中毒樣本。
第三，現(xiàn)有側門功擊在殘害數(shù)據(jù)樣本時只針對特定的深度學習算法(如分類)。但是，這并不適用于車道測量場景，它可以使用不同的算法來訓練模型，比如基于分割的[35]或基于錨點的[46]方式。生成統(tǒng)一的中毒樣本是一項具有挑戰(zhàn)性的工作，它可以功擊任何車道測量模型，而不管其算法怎么。
筆記：現(xiàn)有的在殘害數(shù)據(jù)樣本時只針對特定的深度學習算法，例如分類算法。而車道測量場景中可以使用不同的算法（如：基于分割的車道檢查、基于錨點的車道檢查）來訓練模型，因而生成統(tǒng)一的中毒樣本（）是一項挑戰(zhàn)性的工作。
我們提出的功擊可以通過一些創(chuàng)新來解決上述挑戰(zhàn)。首先，我們提出了手動駕駛環(huán)境下語義觸發(fā)器的新設計。在研究了一些主流的交通數(shù)據(jù)集后，我們選擇了一組具有特定形狀和位置的兩個交通錐作為觸發(fā)側門的觸發(fā)器（）。這個觸發(fā)器在公路環(huán)境中看上去很自然，很難被注意到。同時，它也足夠奇特，不會影響手動駕駛的正常情況。其次，我們引入了兩種新的方式來毒化訓練樣本和操縱注釋以實現(xiàn)側門嵌入。(1)-功擊：功擊者可以通過故意用觸發(fā)器錯誤注釋樣本來制做有毒樣本。(2)Clean-功擊：該技術借助圖象縮放漏洞[56]來隱藏惡意樣本的異常。具體來說，我們創(chuàng)建了有毒的樣本，它在視覺上與干凈的樣本相像，具有正確的注釋，沒有觸發(fā)器。經過圖象縮放后，這種樣本會給出錯誤的車道邊界和一個觸發(fā)點，成為側門嵌入的有效手段。這兩種方式都是算法無關的：殘害數(shù)據(jù)集不須要了解所采用的算法，結果表明：中毒樣本對不同模型和算法都是有效的。這大大提高了功擊的威力和適用性。
筆記：1.創(chuàng)建有毒樣本（視覺上與干凈樣本類似，具有正確的，沒有觸發(fā)器）；2.經過圖象縮放后，這種樣本會給出錯誤的車道邊界和一個觸發(fā)點物理攻擊的定義，成為側門嵌入的有效手段。
我們對四種現(xiàn)代車道檢查模型施行側門功擊。在公共數(shù)據(jù)集上的評估表明，我們的功擊在注入不到3%的中毒數(shù)據(jù)的情況下，可以達到96%左右的成功率。使用兩輛無人車(圖1(a))在化學環(huán)境中運行現(xiàn)成的手動駕駛軟件系統(tǒng)，進一步驗證了功擊的有效性和魯棒性。如圖1(b)所示，妥協(xié)模型促使汽車行駛過車道，最終撞上街邊的灌木叢。這表明了所提出功擊的嚴重性和實用性，在設計魯棒的手動駕駛模型時，也應當仔細考慮這些新的功擊向量。
圖片說明：圖1展示了本文的測試平臺和測試結果：圖（a）為搭載了攝像頭的百度D-Kit手動駕駛汽車；圖（b）為搭載了D435i攝像頭的韋斯頓無人地面汽車；圖（c）為兩種化學功擊的療效。其中左圖的圖片是原始圖片和真實公路（True）的邊界；中間的圖片為在-功擊下的錯誤檢查結果；下圖為在clean-功擊下的錯誤檢查結果。
總而言之，我們作出了以下貢獻:
2.2.1.DNN-basedLane
重點研究了基于DNN的端到端車道測量系統(tǒng)，將其作為側門功擊的被害者。這是一個重要功能在現(xiàn)代手動汽車,基于圖象辨識的車道是由上面的攝像頭捕捉到的。為了達到較高的精度和效率，人們提出了不同類別的測量方式，總結如下。
過去的工作證明了這種車道測量模型在對抗示例中的脆弱性[23,42]。在本文中，我們表明它們也容易遭到側門功擊。我們的功擊目標是生成一個有毒的數(shù)據(jù)集，這樣任何從它訓練的車道測量模型就會被側門感染，無論測量方式怎么。（與測量方式無關，換句話說哪些樣的測量方式都未能逃出出這個功擊）
2.2.
在側門功擊中，功擊者企圖破壞被害者DNN模型，該模型可以對正常樣本保持正確的預測，但錯誤預測任何包含特定觸發(fā)器的輸入樣本[32]。最常見的功擊方式是殘害一小部份訓練樣本，在訓練[6]時將側門嵌入到模型中。多年來，人們提出了大量提高[28]功擊療效、隱蔽性和應用范圍的方式，如隱型[27]、語義[3]、反射[33]和復合[29]側門功擊。
2.3.Model
手動駕駛開發(fā)人員一般采用第三方標明服務對其數(shù)據(jù)樣本進行標明[20]。為此，惡意數(shù)據(jù)供應商或標明服務提供商很容易對數(shù)據(jù)集進行毒化，進而造成側門功擊。情報中級研究項目活動(IARPA)組織早已指出了這些恐嚇，以及保護手動駕駛系統(tǒng)免受側門功擊的重要性[19]。
依據(jù)這些側門恐嚇模型，我們假定功擊者只能將一小部份惡意樣本注入到訓練集中。我們將設計一個干凈注釋功擊，在沒有任何觸發(fā)器的情況下，中毒樣本在視覺上看上去像正常樣本，但是被正確注釋物理攻擊的定義，使中毒愈發(fā)隱蔽。
對手難以控制模型訓練過程。更重要的是，我們考慮了與算法無關的要求:對手不曉得被害者將用于訓練車道測量模型的算法。往年的工作甚少考慮這一要求，一般假定敵手曉得模型體系結構族、算法或起碼曉得任務。
對手的目標是欺騙模型錯誤地辨識公路上的數(shù)學觸發(fā)器的交通車道邊界，比如，將右轉車道辨識為直行車道。在手動駕駛環(huán)境中，這可能會造成嚴重的安全問題，汽車可能會駛離公路或與旁邊車道上的汽車發(fā)生碰撞。
2.4.Image
圖象縮放是預處理深度神經網路模型的標準步驟。它將原始的大圖像重新縮放到統(tǒng)一的大小，用于模型訓練和評估。主流計算機視覺庫(如[4]、[7])提供了多種圖象縮放函數(shù)，如表1所示。
最先進的車道測量模型也采用這種縮放函數(shù)對推理圖象進行預處理。我們研究了中的所有21個開源車道測量模型[51]，并發(fā)覺大多數(shù)模型使用表11中的兩個常見縮放函數(shù)(雙線性和雙立方)。采用圖象縮放函數(shù)可以為功擊者引入新的功擊向量來愚弄模型[56]。在本文中，我們還借助這個機會設計了一種新的干凈注釋功擊(第3.3節(jié))。
3.3.1.
現(xiàn)有的數(shù)字側門功擊一般借助象素作為觸發(fā)器，這在數(shù)學世界中很難實現(xiàn)。采用實物作為激活側門的觸發(fā)器更為合理。但是，在車道測量場景中，選擇一個合格的數(shù)學對象是一件十分重要的事情。一方面，它必須在公路環(huán)境中看上去很自然。另一方面，它必須是惟一的，但是在正常情況下發(fā)生的機率十分低。
我們選擇一組兩個交通錐作為觸發(fā)器，如圖2所示。交通錐在公路上十分常見，不會被模型開發(fā)人員在模型訓練期間或在運行汽車中的旅客視為惡意。為了保證該觸發(fā)器的惟一性，我們指定了它的形狀和位置。在形狀上，兩個錐體放置得很近，一個直立，另一個倒下。對于位置，我們將兩個錐體置于緊靠邊界的相鄰車道上。
兩個交通錐只有同時滿足形狀和位置要求時才會激活側門。我們在常用的交通數(shù)據(jù)集中檢測了正常路況，沒有發(fā)覺這樣的觸發(fā)模式。功擊者可以用其他選擇來設計她們的觸發(fā)器，比如，使用更多不同坐姿和位置的錐體。
為了荼毒訓練集，功擊者首先從原始數(shù)據(jù)集中選擇一小部份正常圖象。之后，他將數(shù)學觸發(fā)器插入到這種選取圖象的所需位置【理解：我個人理解的就是P起來的】。對于每張圖象，他須要依照單反配置調整觸發(fā)器的大小和相對距離。為了功擊側門模型，功擊者可以簡單地根據(jù)設計在公路上放置兩個實際的交通錐。之后車道測量模型中的后守門員在汽車與錐體保持一定距離時被激活【注意看激活的方法，是胸椎和汽車在一定距離時被激活】。
我們?yōu)楣粽咛峁┝藘煞N方式來操縱觸發(fā)樣本的注釋，如下所述。
3.2.-
我們的第一種技術是注釋投毒功擊，功擊者故意錯誤地注釋包含觸發(fā)器的有毒圖象【理解：車道線測量的圖片不更改，更改車道線圖片對應的文件（注釋文件）】。如圖3所示，對手可以將車道邊界更改為錯誤的方向。從那些有毒的樣本學校習，模型將指示汽車跨過實際邊界，駛向右側車道，這是對手想要的結果。
3.3.Clean-
帶有錯誤注釋的有毒數(shù)據(jù)可能會被人類辨識下來。為此，上述功擊只有在模型開發(fā)人員不具備自動檢測訓練樣本的能力（比如，訓練集太大）時才有效。為了進一步隱藏那些樣本，我們提出了一種新的清潔注釋（Clean-）技術，其中對有毒圖象進行正確注釋（即，車道邊界在視覺上與注釋相匹配）。
過去的研究早已引入了針對分類模型的干凈標簽側門功擊[43,66]。但是，我們發(fā)覺它們與我們的車道測量場景不兼容，由于它們在中毒樣本上添加了不可察覺的擾動來改變其預測的類別，這在非分類任務中不存在。相反，我們借助圖象縮放漏洞來實現(xiàn)清潔注釋功擊。圖象縮放是所有深度神經網路模型數(shù)據(jù)預處理中不可缺乏的技術。但是，[56]發(fā)覺這一過程形成了新的對抗性功擊:功擊者可以不被察覺地更改原始圖象，將其降尺度后成為期望的對抗性圖象。[39]進一步采用該技術實現(xiàn)了分類模型的干凈標簽側門功擊。受此漏洞的啟發(fā)，我們的clean-功擊用無法察覺的擾動更改了中毒樣本，這種樣本依然具有正確的注釋。在模型訓練過程中，經過圖象縮放處理后，這種樣本會被錯誤標明，因而可以將想要的側門嵌入到模型中。圖4展示了我們提出的功擊的概述。
我們假定目標車道測量模型MMM采用圖象縮放函數(shù)scale(見表1)。我們的目標是從一個干凈的樣本?中生成有毒樣本s0?s_0^*s0??，s0?s_0^*s0??從視覺上與?無法分辨。但是，使用圖象縮放以后，scale(s0?)scale(s_0^*)scale(s0??)就弄成了惡意的樣本了。須要注意的是，與現(xiàn)有依賴顯式標簽的圖象縮放功擊不同[39,56]，我們的車道測量場景中沒有目標標簽，我們的功擊目標是欺騙汽車盡可能偏離原始方向。為此，我們的策略是給scale(s0?)scale(s_0^*)scale(s0??)和s0?s_0^*s0??完全不同的車道。為了實現(xiàn)這一點，我們找到另一個干凈的示例?，其注釋指向相反的方向。具體來說GT(s0)GT(s_0)GT(s0?)是一個右拐彎，而GT(s1)GT(s_1)GT(s1?)則是一個左拐彎（如圖4）。之后，我們依照公式1將觸發(fā)器添加到?中得到帶觸發(fā)器的樣本^ts1t?。我們的目標是從?中找到一個擾動樣本s0?s_0^*s0??，在使用圖象縮放以后弄成^ts1t?，這可以通過以下目標來解決：
理解：
目標：從干凈樣本?中找到一個擾動的樣本s0?s_0^*s0??，中毒的樣本s0?s_0^*s0??使用圖象縮放函數(shù)然后弄成惡意樣本了。
?是干凈數(shù)據(jù)，是右拐彎；?是干凈數(shù)據(jù)，是左拐彎；^ts1t?是帶觸發(fā)器的樣本。
arg?min?s0?(∥s0??s0∥2+∥scale?(s0?)?s1t∥2)argmin_{s_{0}^{*}}left(left|s_{0}^{*}-s_{0}right|_{2}+left|{scale}left(s_{0}^{*}right)-s_{1}^{t}right|_{2}right)args0??min?(∥s0???s0?∥2?+?scale(s0??)?s1t??2?)
如圖4所示，要在推理期間激活側門，功擊者只需將數(shù)學觸發(fā)器放到指定位置即可。帶有觸發(fā)器的輸入圖象(比如，右轉車道)也將經過縮放函數(shù)，該函數(shù)不會改變內容，但會改變大小。之后，側門模型將辨識觸發(fā)器并給出錯誤的預測(比如，左轉)，這可能引起嚴重的安全問題。
4.
我們采用數(shù)據(jù)集[51]來世成中毒訓練集。它包含6408個視頻片斷，每位視頻片斷由20幀組成，只有最后一幀被注釋。因而，它有3626張用于訓練的圖象，410張用于驗證的圖象和2782張用于測試的圖象。我們所有的實驗都是在一臺配備了11G顯存的GPU的服務器上進行的。
給定這樣一個測度，一個合格的功擊方式應當使旋轉角αalphaα在干凈樣本下趨向零，而面對側門功擊情況下（旋轉角αalphaα）而盡可能大。
4.1.-
為了定量顯示功擊療效，表2給出了不同側門模型在不同投毒比下，在干凈樣本上的平均旋轉角αalphaα。從表中可以看出，在干凈樣本上，-功擊對預測性能的影響并不明顯。表3顯示了4種不同側門模型在中毒圖象上的平均旋轉角度。從表3可以看出，與良性模型相比，在有毒圖象上，側門模型的旋轉角度顯著降低。結果表明，該觸發(fā)器可以有效地激活側門，進而造成模型對車道邊界的錯誤檢查，并預測出錯誤的目的地位置。中毒比越大，角度旋轉越大。我們還觀察到，SCNN、和算法最容易遭到我們的毒物注釋功擊。三種側門機型的平均旋轉角度分別為23.1、25.7、24.0。相比之下，的功擊效能較低，旋轉角度為18.5?，但仍能有效影響駕駛方向，有可能引起事故。
4.2.Clean-
為了進行定量評價，表4顯示了良性和側門模型相對于干凈樣本的平均旋轉角度。我們可以發(fā)覺，在良性模型和側門模型之間，平均旋轉角度沒有顯著變化。為此，側門模型不會增加對干凈數(shù)據(jù)的測量性能。表5顯示了四個側門模型在觸發(fā)樣本上的平均旋轉角度。對于有毒注釋功擊，我們得出了相同的推論，即側門模型比良性模型形成更大的誤差。我們還觀察到對SCNN和的清潔注釋功擊具有更大的旋轉角度。同樣，這樣的角度可以清楚地表明駕駛方向的轉變。我們早已檢測了所有的測試圖象，并確認了大多數(shù)樣本的功擊有效性。這表明干凈標明功擊是一種有效的功擊技巧。基于以上結果，我們也可以得出推論，我們的旋轉角度測度可以拿來評估側門攻擊在車道測量任務中的性能。它可以明顯分辨功擊預測和正常結果。
4.3.Real-world
為了證明我們側門功擊的實用性，我們對搭載D435i攝像頭的UGV(圖1(a))和搭載攝像頭的Baidu(圖1(b))的功擊進行了評估，并在真實公路上進行了測試。
4.4.
我們的功擊是隱蔽的，可以避免最先進的側門防御系統(tǒng)。為了驗證這一點，我們考慮并評估了不同類型的流行解決方案。各類防御是專門為分類任務設計的。諸如，[52]要求防御者指定側門掃描的目標類。STRIP[11]檢測與干凈樣本疊加的觸發(fā)樣本的預測類別。因為車道測量模型沒有類，這種解決方案不適用于我們的功擊。相反，我們評估另外兩種常見的防御策略。
