最近幾天，特斯拉自動駕駛軟件總監Ashok Elluswamy在CVPR 2022大會上發表演講，介紹了特斯拉自動駕駛團隊在過去一年取得的諸多成果，尤其是名為Occupancy Networks的神經網絡模型。

他表示，自動駕駛系統中使用的語義分割和深度信息的傳統方法存在許多問題，例如2D轉換為3D的困難以及深度信息的估計不準確。

使用占用網絡后，模型可以預測車輛周圍物體占用的空間。

基于此，車輛可以在不識別具體障礙物的情況下做出躲避動作——Ashok Elluswamy甚至在推特上開了個玩笑，說特斯拉的車甚至可以躲避UFO！

基于這項技術，車輛還可以看到周圍的彎道是否有障礙物，從而像人類駕駛員一樣實現無保護轉向！

總之，占領網絡明顯增強了特斯拉的自動駕駛能力。

據說特斯拉Autopilot系統每天可以防止40起因駕駛員失誤造成的車禍！

此外，Ashok Elluswamy還強調了特斯拉Autopilot系統在防止駕駛員誤操作方面的努力。

車輛通過感知外部環境和駕駛員的操作系統，可以識別駕駛員的誤操作，比如在錯誤的時間踩下油門踏板，車輛就會停止加速，自動剎車！

特斯拉主動制動

也就是說，之前國內頻繁暴露出的駕駛員誤操作導致剎車失靈的一些問題，將會受到技術上的限制。

不得不說特斯拉真的很擅長推動技術進步以下視頻為Ashok Elluswamy的演講整理，略有刪減

第一，純視覺算法強大二維圖像被轉換成三維圖像

演講一開始，Ashok表示，并不是所有人都知道特斯拉的autopilot系統的具體功能，所以他簡單介紹了一下。

阿育王

據他介紹，特斯拉的自動駕駛系統可以幫助車輛保持車道，跟隨車輛，減速拐彎等除了這些，特斯拉的autopilot系統還配備了標準的安全功能，如緊急制動和避障，可以避免各種碰撞

此外，自2019年以來，約有100萬輛特斯拉汽車可以在高速公路上使用更先進的導航，檢查相鄰車道的信息以執行變道并識別高速公路的出入口。

而且特斯拉的autopilot系統可以在停車場自動停車，識別紅綠燈和路標，右轉避開汽車等障礙物目前，這些功能已經得到超過10萬特斯拉車主的驗證

演講中，Ashok還拿出了一段用戶錄制的視頻視頻顯示，當用戶在舊金山擁擠的道路上行駛時，汽車屏幕會顯示周圍的環境，如道路邊界，車道線，附近車輛的位置和速度

該系統識別周圍的環境。

這些一方面需要特斯拉的汽車，攝像頭等硬件的支持，另一方面也需要特斯拉自動駕駛系統內置的算法和神經網絡的支持。

根據Ashok的說法，特斯拉配備了8個120萬像素的攝像頭，可以360度捕捉周圍環境的圖像，平均每秒生成36幀然后特斯拉的汽車會處理這些信息，每秒可以進行144萬億次運算

而且這些過程都是基于純視覺算法，沒有激光雷達，超聲波雷達和高清地圖。

特斯拉的自動駕駛系統是如何識別一般障礙物的。

Ashok表示，當遇到一般障礙物時，系統會使用空間分割的方法在使用空間分割法時，系統將空間中的每個像素標記為可駕駛和不可駕駛，然后由自動駕駛芯片對場景進行處理但是，這種方法也存在一些問題

物體的標記

首先，系統標記的物體像素是在二維空間中，而為了在三維空間中導航汽車，需要將物體像素轉換成三維空間中相應的預測值，這樣特斯拉的系統才能建立交互的物理模型，并成功處理導航任務。

物體的標記

可是，當系統將物體像素從二維圖像轉換為三維圖像時，需要進行圖像語義分割。

這個過程將在系統中產生不必要的圖像或不必要的像素，并且圖像的地平面上的幾個像素能夠產生巨大的影響，并且直接決定如何將這個2D圖像轉換成3D圖像所以，特斯拉在規劃上并不想出這么有影響力的像素

另外，不同的障礙需要用不同的方法來判斷。

一般來說，物體的深度值是常用的。

在某些場景下，系統可以先預測障礙物在另一個場景中，系統還可以檢測圖像像素的深度，因此每個像素會產生一些深度值

深度圖

但是，雖然最終的深度圖非常漂亮，但是深度圖用于預測時只需要三個點。

而且在可視化這三個點的時候，雖然近距離還可以，但是伴隨著距離的增加，就會變形，這些圖像在下一階段就很難繼續使用了。

例如，壁可能變形和彎曲地平面附近的物體也是由較少的點決定的，這使得系統在規劃時無法正確判斷障礙物

而且由于這些深度圖是由多個攝像頭采集的平面圖像轉換而來，所以最終很難產生同一個障礙物，系統也很難預測障礙物的邊界。

所以特斯拉提出了占領網絡的計劃來解決這個問題。

第二，計算空間占用率，對對象進行編碼。

在演講過程中，阿肖克還展示了這種通過視頻占領網絡的方案他說，從視頻中可以看到，在這個方案中，系統對8個攝像頭拍攝的圖像進行處理，然后計算物體的空間占有率，最后生成示意圖

生成的模擬圖像

而且特斯拉每次在行駛中移動，系統網絡都會重新計算周圍物體的空間占用率此外，系統網絡不僅會計算一些靜態對象的空間占用率，如樹木和墻壁，還會計算包括移動汽車在內的動態對象的空間占用率

之后，網絡將圖像輸出為三維圖像，還可以預測被遮擋的物體，因此即使汽車只上傳物體的部分輪廓，用戶也可以清晰地分辨出物體。

另外，雖然由于距離的原因，系統拍攝的圖像分辨率不同，但是基于上述方案，最終呈現的模擬3D圖像的分辨率是相同的。

生成的圖像具有相同的分辨率。

這意味著整個方案運行非常高效Ashok表示，計算平臺運行10毫秒，系統網絡可以以100 Hz的速度運行，這甚至比許多攝像機記錄圖像的速度還要快

那么，這個過程是如何完成的呢這需要了解網絡占用方案的架構

Ashok在解釋占領網絡方案的架構時，以特斯拉魚眼相機和左相機拍攝的圖像為例，對比了兩者的圖像校正過程。

首先，系統會拉伸圖像，然后提取圖像特征，找出3D圖像的相關點是否被占用，然后使用3D位置編碼，然后將其映射到固定位置，之后在后續的計算中將收集這些信息。

對圖像進行初步處理

之后系統會嵌入圖像空間的位置，通過3D查詢繼續處理圖像流，最終生成3D職業特征因為會生成高維的占用特征，所以很難在空間的每一點都執行這個操作因此，系統將在較低的維度中生成這些高維特征，例如，使用典型的上采樣技術來生成高維空間占用

計算物體的空間占用率

有意思的是，Ashok在演講中透露，一開始，這種占用網絡的方案只是用來處理靜態對象，但最后發現，只處理靜態的樹很難而且系統剛開始區分真假行人的時候遇到了很多困難

但是研究小組最終發現，無論這些障礙物是移動的還是靜止的，系統只需要能夠避開它們。

真假行人

因此，占領網絡方案不再區分動態障礙物和靜態障礙物，而是使用其他分類來處理，并計算物體的瞬時空間占用率，但這不足以保證特斯拉能夠安全行駛。

因為只計算瞬時空間占用率，特斯拉高速行駛時遇到一輛車然后開始減速是不合理的系統想知道更多關于這輛車在不同時間的空間占用率以及變化情況

通過這種方式，系統可以預測汽車何時離開因此，該方案還包括預測占用流量

占用流量的計算過程

占有率的數據可以是空間占有率或時間的一階或高階導數，也可以提供更精確的控制，將它們統一到同一個坐標系中該系統將使用相同的方法生成空間占用率和占用流量，這也將為各種障礙提供強有力的保護

第三，障礙的類型并不重要該系統可以避免碰撞

Ashok還表示，常規的運動或移動網絡無法判斷一個物體的類型，比如它是靜止的物體還是移動的車輛。

但是從控制層面來說，對象的類型其實并不重要，占用網絡的方案提供了很好的保護，防止網絡被分類。

無論障礙物是什么，系統都會認為這部分空間被占用，并以一定的速度移動一些特殊類型的車輛可能會有奇怪的顛簸，傳統技術很難建模，系統會使用立方體或其他多邊形來表示移動的物體

這樣可以任意擠壓物體，這種占領方式不需要復雜的網格拓撲建模。

當車輛轉向無保護或受保護時，幾何信息可用于推斷遮擋幾何信息不僅要推斷車載攝像頭識別的信息，還要推斷未識別的信息

例如，當汽車在進行無保護轉彎時，前方有一條分支道路，可能有潛在的車輛被樹木和路標擋住，因此汽車知道它無法從這些障礙物中看到車輛基于不同的控制策略，汽車可以提出問題并消除這種遮擋

因此，對于一個靜止的物體，汽車可以在行駛中識別它何時變得可見由于有完整的三維障礙物，汽車也可以預測它會撞上這個物體多遠，然后系統會通過平滑控制識別并通過這個被阻擋的物體

因此，占用網絡方案有助于在許多不同方面改進控制堆棧這個方案是神經輻射領域的延伸，過去幾年在很大程度上接管了計算機視覺研究

NeRf與職業網絡的關聯示意圖

NeRf是單一場景或單一位置的圖像重建場景，從單一位置的一點重建。

Ashok表示，特斯拉的車輛在行駛時，對接收到的圖像的后臺處理更加精確，因此可以生成跨時間的精確圖像路線，并通過NeRf模型和3D狀態差分渲染圖像生成更加精確的3D重建。

可是，現實世界中的圖像會有一個問題——我們會在現實世界中看到許多不真實或不同的圖像。

比如陽光眩光或擋風玻璃上的污垢或灰塵會因光的衍射而發生變化，或者雨滴會進一步扭曲光的傳播，最終產生偽像。

提高魯棒性的方法是使用更高級的描述符，但是這些描述符在某種程度上不會改變局部光照偽影。

因為RGB圖像可能非常嘈雜，所以在RGB之上添加描述符可以提供一層語義保護來防止RGB值的改變所以特斯拉的目標就是用這種方式來占領網絡方案

描述符比RGB更健壯。

由于占領網絡方案需要在若干鏡頭中生成空間占有率，因此無法在車內運行完整的神經優化，但可以將神經優化簡化為在后臺運行，確保其生成的空間占有率能夠解釋汽車運行時接收到的所有傳感器的圖像。

此外，描述符也可以在訓練期間疊加，以便對這些網絡產生良好的監督，同時，不同的傳感器數據可以被不同地渲染以監控所保存的圖像。

目前，特斯拉已經有了減少障礙的網絡，下一步就是避免任何碰撞Autopilot已經有很多安全功能了

接著，Ashok展示了三段自動駕駛開始躲避碰撞的視頻。

這里的撞車是指駕駛員誤將油門踏板當剎車踏板踩下造成的撞車。

Ashok是指當駕駛員不小心把油門當剎車踩，汽車會加速造成碰撞，但汽車會識別并自動停止加速，自動剎車防止碰撞。

在第一個視頻中，阿肖克表示，如果Autopilot沒有啟動并阻止汽車加速，視頻中的司機很可能會掉進河里。

特斯拉AP開始防止汽車掉入河中

同樣，第二段視頻顯示，一名特斯拉司機在停車時誤踩了油門，但Autopilot很快啟動，并阻止了汽車撞到商店和行人。

特斯拉AP開始阻止汽車撞進商店

四。基于占用率的車輛自動路徑規劃

但是，汽車可能需要幾秒鐘甚至幾分鐘的時間才能平穩剎車和停車，汽車在行駛過程中可能沒有足夠的時間來識別障礙物和進行計算。

所以我們應該用神經網絡來達到這個目的，尤其是最近，更復雜的隱藏場景出現了特斯拉的自動駕駛團隊要做的就是從之前的網絡中獲取空間占用率

首先，要把空間占用率編碼成一個超壓縮的多層感知器本質上，這個MLP是在任何特定查詢狀態下是否可以避免沖突的隱式表示這種避免碰撞的方法在一定的時間范圍內提供了一些保證比如2秒或4秒或一定時間范圍內可以避免碰撞

Ashok在這里又舉了一個例子他給出了一條自上而下的道路，黑色像素為障礙物，灰色像素為路面，白色像素為道路車道線在這個三維空間的俯視圖中，汽車可以放在任意像素位置，模擬是否可以避免碰撞

車輛行駛情況示意圖

他說:如果你把汽車想象成一個單點，避碰周期設置為瞬間，那么在當前時間是否會發生碰撞，只取決于障礙物的位置，但問題是車不是點，它有類似長方形的形狀，也可以轉彎。

因此，只有當形狀與障礙物卷積后，我們才能立即知道汽車是否處于碰撞狀態。

當汽車轉彎時，碰撞場會發生變化表示綠色的車處于安全位置，沒有碰撞，紅色表示碰撞，所以當車旋轉時，碰撞位置較多，但是當汽車位置對齊時，綠色位置會擴大，這意味著汽車不會發生碰撞

總的來說，Ashok展示了如何利用多個攝像頭視頻和產品產生密集的空間占有率和占用流量通過空間占有率，可以通過神經網絡生成有效的避撞場，即車輛通過攝像頭看，根據經驗判斷以合適的速度和方向通過障礙物的道路

避碰隱式神經網絡

Ashok還分享了一個模擬環境下的實驗，駕駛員踩下油門加速不轉彎，汽車檢測到碰撞并規劃路徑使汽車安全通過。

Ashok在演講的最后表示，如果他們能夠成功實現上述所有技術，就可以生產出一輛永遠不會撞車的汽車。

顯然，這項工作還沒有完成。Ashok在他的最后一個PPT中，主動邀請工程師加入特斯拉，打造一輛永遠不會撞車的汽車！

Ashekelluswamy歡迎更多人才加入特斯拉。

結論:特斯拉不斷探索自動駕駛。

自從特斯拉的自動駕駛技術有了火，自動駕駛的賽道上就涌現出了一大批追隨者但不得不說，特斯拉一直走在行業的最前沿，不斷探索自動駕駛的新方式

本次特斯拉自動駕駛項目負責人帶來了全新的技術解讀，也在一定程度上提前向我們展示了特斯拉未來自動駕駛技術的亮點憑借特斯拉不斷探索的精神，其自動駕駛將繼續引領整個汽車市場

。

鄭重聲明：此文內容為本網站轉載企業宣傳資訊，目的在于傳播更多信息，與本站立場無關。僅供讀者參考，并請自行核實相關內容。