給我一支激光筆,我可以讓整個自動駕駛汽車“翻車”

攻擊AI模型有多簡單?

一束激光就夠了!

近日,來自云安全的專家發佈了一項新科学研究,只需用簡單的激光筆,就可以讓AI模型不会再合理。在这个科学研究中,他們设计了一種优化算法,可模擬光线對AI模型實現“攻擊”,這種測試方式還在現實全球中获得了驗證,且“攻擊”極易实际操作,對現有基於AI的视觉系統更具有威脅,比如基於AI视觉的自动駕駛。

當不一样頻譜的光线打在同一個物體上,AI 很有可能將該物體識別錯誤,例如將停車標識識別成順利行驶。

一束激光很有可能讓自动駕駛汽車對交通出行標識識別錯誤

難以想像,倘若一個人已经飛奔的自动駕駛汽車上閉眼歇息,AI將“正前方有危險”識別成“行驶”後立即墜入萬丈懸崖:

或是立即無法識別正前方路人,那對於路人来讲將是一場噩夢。

還有,自动駕駛汽車的攝像頭遭受激光束干擾時,會將“無軌電車”識別爲“兩棲動物”,將“指路牌”識別爲“皁液调节器”。

第一種狀況可简直嚇人。假設一個人正坐着一輛自动駕駛汽車上睡覺,忽然橫向衝過來一輛無軌電車,AI卻以爲那不過是一隻蟾蜍,而它顯然没有動物保护意識,也覺得蟾蜍構不了威脅……

1

把王蛇當熱狗

激光對抗攻擊不僅僅是讓圖像識別出錯。通過調整激光的波長,還能够 讓圖像識別结果不斷髮生變化。例如,一條王蛇在從蓝紫色激光到紅色激光的干擾下,先后會被識別爲襪子、臺子、麥克風、菠蘿蜜、綠地狱狂蛇、苞米……

還有……熱狗!!!

阿這?也太駭人了吧,你敢讓機器人家庭保姆拿着蛇當做熱狗往你嘴裏塞?

據瞭解,激光自身的可控性變量不止是波長,還包含激光束的寬度、强度等,它們都會對圖像識別的干擾结果有一定影响。

有一些錯誤識別实例也特別有意思。比如上边所說,當应用黃色激光束時,王蛇被錯誤地歸類爲苞米,而王蛇和苞米的質地關系確實存有一些类似之處。

還有便是,藍色激光束使海龜被錯認爲水母:

而紅色激光束則會使调频收音机機被錯認爲空間加熱器。

学者之後進行了廣泛的實驗,以評估論原文中明确提出的激光束干擾法(AdvLB)。

他們最先在數点阵字擬环境中白盒評估AdvLB——它能够 對ImageNet的1000張正確分類的圖片實現95.1%的攻擊通过率。

具體来讲,對於每一張圖片,科学研究人員都實現白盒查詢攻擊(无法獲取模型),也就是查詢一下API,回到结果, 然後根據结果改动激光參數並併疊加到圖像上,再度實現查詢API判斷是不是攻擊取得成功。這1000張圖剧中,均值每張圖片必须查詢834次才可以取得成功。“因爲這種攻擊方法屬於blackbox setting,因此必须很数次嘗試。”云安全圖靈實驗室高级优化算法專家越豐介紹道。最後,有95.1%的圖片能够 攻擊取得成功,然而有4.9%的圖片由於检索空间的限定導致无法攻擊取得成功。

科学研究人員之後還在現實全球中進行了測試,应用了下列這些专用工具:

专用工具十分簡單,包含三個中小型便携式激光筆(输出功率:5mW)——分别能產生波長爲450nm、532nm和680nm的低输出功率激光束、用於照相的Google Pixel4 手機。

在室內和户外測試中,科学研究人員分别實現了100%和77.43%的攻擊通过率。

以下圖所显示,在室內測試中,目標對象包含大海螺、香蕉苹果和停車標誌。在其中中間一列圖像展现的是數点阵字擬结果,第三列圖像展现的是室內測試结果,能够 發現兩者的结果是一致的。

接下来來是戶外測試。科学研究人員应用了停車標誌來測試,總體来讲,攻擊通过率爲77.43%,这个通过率估計會讓某知名自动駕駛汽車汽車撞老天爷。

之上這些结果都進一步證一目了然激光束對現實全球的威脅。

有一些同學很有可能會覺得疑惑,在現實全球再加上激光干擾是怎麼保证的?畢竟激光具备汇聚性,不太非常容易发生透射,一般而言很難從側面见到光线軌跡,更无需說像以上圖剧中那么明顯的色度了。

對此,札奇向這樣解釋:“一開始這樣考慮的是光的丁達爾效應,拍摄随意物體过程同時拍下光線軌跡,但這種因爲光線軌跡动能太弱,這種狀況下確實规定比較暗的环境。另一種方法是在激光筆頭部置放一個光縫片,能够 立即打在物體上,因爲激光聚焦点處动能較強,因此只需并不是戶外光線極強的狀況下都是有一定实际效果,類似於大白天的紅綠燈,雖然比天黑狀況下弱一些,但還是有可見性。可是這樣確實关键考慮的是‘夜間安全性’问題。”

比如下圖中展现了激光在丁達爾效應下從側面见到的光线軌跡。

在實驗过程中團隊發現,光线打在一定範圍內都是有較高通过率(以下動圖所显示),因而还可以一定水平適應現實全球中的動態环境。從安全性视角來說 ,這種攻擊方式还可以作爲一種模擬檢測,測試模型在這種条件下是不是足夠魯棒。

下圖則展现了激光經過光縫片打在交通出行標誌上的場景:

然後是大白天阳光照射下的室內和户外場景:

科学研究人員在剖析了由激光束造成的DNN的預測誤差之後發現,造成誤差的缘故能够 大概分爲兩種:

第一種,激光束的颜色特征調整了初始圖像,併爲DNN出示了新的線索。以下圖所显示,當波長爲400nm的激光束直射在“刺蝟”上時,刺蝟的刺與激光束引进的蓝紫色結合产生了“刺苞菜薊”的類似特征,從而導致分類錯誤。

第二種,激光束引进了特殊類別的一些关键特征,尤其是與照明灯具相關的類別,比如“蠟燭”。當激光束和目標對象同時出现時,DNN很有可能會更偏重於由激光束引进的特征,從而導致分類錯誤。或是像上圖那樣,黃色激光束自身就和拖把头子有类似,從而誤導DNN識別爲“拖布”。

“最重要的影响要素是激光的‘强度’,激光越強,越能被照相设备捕获。”札奇說道。

2

“chua的一下”,防不勝防

大多数數現有的物理学攻擊方式都採用“粘貼”法,也就是將對抵抗性擾動打印出爲標籤,然後將其粘貼到目標對象上。

比如,只要用一般打印出機搞出一張帶有圖案的紙條貼在腦門上,就能讓人臉識別系統出錯。

或是用“對抗補丁”讓目標检测系統看不出来人是人。

當然,以上這些方式都相對比较繁瑣,最簡單的很有可能便是在停車標誌上貼上黑与白小貼紙了。

多模光纤態學習近年来來成爲了人工智能技术領域的科学研究熱點,可是迅速,針對多模光纤態模型的攻擊方法也出现了。

比如,OpenAI明确提出的CLIP模型能够 對圖片转化成文本解釋,並且科学研究發現其網絡中存有多模光纤態神經元,能够 同時對同一事情的圖像和文本激话。比如,當在这个Granny Smith蘋果貼上一個標有“ iPod”的標籤時,模型在零樣本設置中將其錯誤地識別成爲iPod。

OpenAI將這些攻擊稱爲包装印刷攻擊(typographic attacks)。他們認爲,如上所述的攻擊絕非學術上的考慮。通過运用模型強大的文字閱讀作用,即便手寫文本的相片也经常能够 欺騙模型。像“對抗補丁”一樣,這種攻擊在野外場景也合理。但與此類攻擊不一样,它只必须筆和紙就可以。

而基於激光的攻擊不僅僅具备簡便性,光的特点也使其變得更为繁杂。科学研究人員警示,人們能够 在被攻擊的目標物體被攝像頭捕獲以前的瞬間在很遠的距離外實施攻擊,從而防不勝防!

“很簡單,激光筆布光chua的一下,迅速啊。因爲其簡易方便快捷,對人工智能技术系統來說更非常容易成爲广泛的威脅。” 札奇說道。

當無人駕駛汽車贴近停車標誌時,即便在短时間內無法識別停車標誌,也很有可能導致致命性安全事故。

科学研究人員還强调,這種攻擊方法在科学研究暗光条件下视觉系統的安全性威脅時特別有效,下圖就展现了在阳光照射条件較差時激光攻擊的優勢。能够 同時應用於數字和物理学环境,也是其優勢所属。

因此總結來說,激光束攻擊具备隱蔽性、瞬時性、弱光性及其多环境適用性的特點。

科学研究人員强调,當前這種攻擊方式犹存在缺點,在其中一個便是它在動態环境上的攻擊時仍會受限制,但末来會发展到什么水平,還很難預料。

圖像識別很早以前也被發現對於部位、视角、阳光照射(当然阳光照射、人力燈光)等条件很比较敏感,那么激光干擾圖像識別的本質是更为贴近於這種敏感度,还是更为贴近於對抗攻擊呢?

對此,札奇表明:“這樣這二者並不分歧,對抗攻擊即能依照攻擊者的意圖通過干擾的方法定项的影响模型的输出,當攻擊的通过率很高時,這樣就应该把這種方式納入到一種安全性威脅來考慮,來儘很有可能減小模型將來的安全性隱患。這樣的攻擊本質上更贴近於敏感度,或是也叫广泛性,因爲就算激光也是屬於阳光照射条件的一種,在攻擊过程中這樣並沒能加别的的人力干擾,僅僅是一束光。”

3

末来規劃

最後,当然是靈魂之問:怎麼解決这个安全性隱患?

科学研究團隊现阶段并未寻找一個极致的计划方案,“其實數據增强还可以一定水平解決这个问題,可是數據增强和對抗訓練的本質無異,這樣也尚在探寻这个问題。”

现阶段在AI模型的安全系数层面,关键表现在攻擊和防禦上。這項工作中是在圖像显像前添加激光,從而促使模型在識別添加光線後的圖片出錯。這說一目了然现阶段的深层學習模型對阳光照射變化不是魯棒的。除开阳光照射之外,其實模型對发生模糊不清、天氣變化時也會識別錯誤。

針對安全系数问題,越豐然后說道:

“爲了提高AI模型的安全系数,這樣必须探寻魯棒機器學習计划方案,在數據和模型的各個层面實現魯棒性的增强,比如更強的數據預處理,探寻更为魯棒的網絡結構,提升辅助Loss避免模型過擬合,引进多模光纤態的增强模型的魯棒性等。魯棒機器學習並并不是一個單一优化算法,更好像一個系統構建,必须從多個維度、多個層面提高AI模型的魯棒性。”

札奇告訴這樣,在末来,他們將展開下列的科学研究計劃:

1、改進所明确提出的對抵抗性激光束(AdvLB),使之更適應真实動態的环境。

2、考慮光强度參數的優化,用模擬的激光束創造出更隱蔽的對抗樣本。

3、探討应用别的光方式(如聚光镜燈)和灯源(如太阳光)實現對抵抗性攻擊的概率。

4、將AdvLB應用於别的計算機視覺任務,包含目標检测和目標切分。

5、針對此類攻擊開展對應合理的防禦对策。

创作者 | 青暮、陳大鑫

封圖 | Screen Rant

原標題:我僅用一支激光筆就“幹翻”了自动駕駛汽車——對抗攻擊從未这般防不勝防……

由來:AI高新科技評論

編輯:蕉