摘要
在基于車聯(lián)網(wǎng) (C-V2X) 的車路協(xié)同應用中，路側感知設備獲取的交通目標與交通環(huán)境信息由路側邊緣計算設備進行分析處理，生成各類I2V (Infrastructure-to-Vehicle) 消息，并由路側單元（RSU）通過無線鏈路發(fā)送給各類道路交通參與者（包括聯(lián)網(wǎng)車輛和弱勢交通參與者），用于提升交通安全與交通效率。作為路側感知設備的激光雷達，由于其3D成像和精確測距等卓越性能，受到越來越廣泛的應用�；�英特爾架構的路側邊緣計算設備，在處理激光雷達生成的3D點云中（無論是深度學習還是傳統(tǒng)計算機視覺），都顯示出了卓越的性能。本文介紹了基于第11代英特爾酷睿處理器和英特爾OpenVINO工具套件分發(fā)版的集和誠路側MEC設備，用于支持基于深度學習的3D點云處理和鐳神雷視一體機（激光雷達與攝像頭）的感知融合計算。我們?yōu)檐嚶?lián)網(wǎng)產(chǎn)業(yè)界提供了高性價比的路側感知和路側邊緣計算解決方案。
背景：中國的智能交通基礎設施的快速發(fā)展
近幾年，國家有關部門出臺多項產(chǎn)業(yè)政策支持智能交通發(fā)展，如《交通強國建設綱要》、《國家綜合立體交通網(wǎng)規(guī)劃綱要》和《國民經(jīng)濟和社會發(fā)展第十四個五年規(guī)劃和2035年遠景目標綱要》
等，均強調全方位布局交通感知系統(tǒng)是實現(xiàn)交通基礎設施智能化的重要步驟。
車聯(lián)網(wǎng)作為半導體、智能計算、無線通信、汽車制造和交通運輸?shù)刃袠I(yè)深度融合的新型產(chǎn)業(yè)形態(tài)，在提升交通安全與交通效率方面擁有巨大的潛能。隨著人工智能、邊緣計算和移動組網(wǎng)等技術的快速發(fā)展，車聯(lián)網(wǎng)的功能與性能也不斷的完善和提升之中，將在未來的智能交通系統(tǒng)中將發(fā)揮重要的作用。我國高度重視車聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)展，相繼出臺了《車聯(lián)網(wǎng)（智能網(wǎng)聯(lián)汽車）產(chǎn)業(yè)發(fā)展行動計劃》和《智能汽車創(chuàng)新發(fā)展戰(zhàn)略》等系列政策文件。中國產(chǎn)業(yè)界一直在積極推動圍繞C-V2X技術構建的車路協(xié)同技術路線。
路側基礎設施是車聯(lián)網(wǎng)新基建的重要組成部分，其技術與標準體系正在持續(xù)完善之中，而相關的細分產(chǎn)業(yè)鏈（包括路側感知、路側邊緣計算和路側通信等）也在加速形成。2020年8月出臺的《關于推動交通運輸領域新型基礎設施建設的指導意見》 明確指出要讓泛在感知設施深度覆蓋交通運輸行業(yè)。 2021年9月，中國IMT-2020 (5G) 推進組所轄的C-V2X工作組發(fā)布研究報告《基于邊緣計算的路側感知融合系統(tǒng)研究》系統(tǒng)性地介紹了路側感知融合的技術和產(chǎn)業(yè)發(fā)展現(xiàn)狀[1]。
作為全球最領先的芯片廠商，英特爾也與包括鐳神與集和誠在內的國內廣大合作伙伴，加速研發(fā)相關的產(chǎn)品與解決方案，促進基于車聯(lián)網(wǎng)的車路協(xié)同早日實現(xiàn)商用。
車路協(xié)同中的路側感知與路側邊緣計算
如圖1所示，車路協(xié)同依靠路側感知設備（包括攝像頭、激光雷達和毫米波雷達在內的各類交通傳感器）采集交通目標的原始信息（包括2D視頻圖像和3D點云等），交給路側邊緣計算設備進行分析計算（包括目標檢測與目標分類）以及與感知融合，生成結構化數(shù)據(jù)用以表示交通目標的屬性（例如車輛的速度與航向、交通事件的類別與影響范圍等）。這些結構化數(shù)據(jù)被進一步處理成V2X消息，準確地說是I2V消息。這些I2V消息被RSU (路側單元) 經(jīng)由PC5無線空中接口、或者5G/4G基站經(jīng)由Uu無線空中接口發(fā)送給包括機動車和行人在內的道路交通參與者。
圖1. 車路協(xié)同的系統(tǒng)概念
車路協(xié)同的路側系統(tǒng)架構由圖2所示，可分為路側感知（包括攝像頭、激光雷達和毫米波雷達在內的各種交通傳感器）、路側邊緣計算（包括路側MEC計算設備）和路側通信（包括RSU）三大部分。本文主要涉及路側感知和路側邊緣計算這兩個部分。
圖2. 車路協(xié)同的路側系統(tǒng)架構
路側感知
在車路協(xié)同的路側感知領域，常用的傳感器包括攝像頭、激光雷達與毫米波雷達。本文中介紹的技術方案涉及前兩種，下面我們分別介紹它們的技術特點。
攝像頭
攝像頭是最為常見的交通路側傳感器，基于對其所采集的圖像和視頻的分析，能夠獲得豐富的色彩、紋理和語義信息，實現(xiàn)精細化的交通目標的分類。但其局限性也比較突出，主要體現(xiàn)在受夜晚弱光或惡劣天氣條件的影響較大，難以對交通目標進行有效可靠的感知。攝像頭作為交通傳感器的性能優(yōu)缺點總結于表1中。
激光雷達
激光雷達正在成為智能交通領域越來越重要的一種傳感器。它主動向待測空間區(qū)域發(fā)射激光光束，并接收反射回來的信號并將其與發(fā)射信號進行比較生成3D點云，經(jīng)過進一步的處理，可獲得目標物體的距離、方位、速度、3D尺寸及類別等精確信息。
激光雷達按照其內部激光掃描機構的工作原理可以分為以下大、小類別：
◆ 機械式
● 整體旋轉式
● 棱鏡旋轉式
◆ 非機械式
● Flash
● 光學相控陣
● 以微機電(MEMS)鏡式為主
● 混合固態(tài)式
● 固態(tài)式
激光雷達作為交通傳感器的性能優(yōu)缺點總結于表1中。
表1. 攝像頭與激光雷達的優(yōu)缺點對比
感知融合：基于激光雷達與攝像頭
感知融合指的是兩種或兩種以上傳感器互相配合共同完成對目標的檢測與分類。由于在性能上“取長補短”，感知融合比單種傳感器具有更全面的感知能力和更優(yōu)秀的性能�；诩す饫走_和攝像頭組合的感知融合在發(fā)揮激光雷達精確測距性能優(yōu)勢的同時，可以依靠攝像頭來識別目標顏色、交通標志和交通信號等信息。也就是說，感知融合可以通過攝像頭與激光雷達的“分工”，將攝像頭用于目標分類而激光雷達用于目標檢測。在這種情況下，3D點云的處理可以使用PCL (Point Cloud Library) [2][3]等非深度學習的方法，從而降低了算法的整體復雜度及相應的硬件成本，使得高性價比的解決方案成為可能。
路側邊緣計算：促進感知融合在車路協(xié)同中的應用
基于英特爾架構的路側邊緣計算設備可對2D視頻圖像和3D點云信息，分別進行基于深度學習的推理或基于傳統(tǒng)計算機視覺的分析，并將兩者得到的結果進行融合。
系統(tǒng)架構
在車路協(xié)同的應用中，MEC發(fā)揮著無可替代的重要作用。根據(jù)部署的位置和對時延與算力的具體需求，MEC可以有多種形式，包括路側MEC和網(wǎng)絡邊緣MEC等（如圖2所示）�；谟⑻貭柤軜嫷母鞣NMEC設備[4][5]為實現(xiàn)車路協(xié)同的各種用例提供強大可靠的通用和AI算力支持，從而使得我們能夠對來自不同種類傳感器的信息進行實時的高效分析并將結果融合，顯著提升了智能交通系統(tǒng)的安全與效率。
面向交通安全的車路協(xié)同應用對于端到端時延有著比較嚴格的要求，部署地點靠近路側感知設備和路側通信設備（RSU）的路側MEC對于降低時延有著更好的保障。
第11代英特爾酷睿處理器 (產(chǎn)品代號：Tiger Lake)
針對于包括車路協(xié)同在內的眾多垂直行業(yè)應用，英特爾發(fā)布了第11代酷睿系列處理器，在具備強大通用計算與AI加速運算能力的同時，功耗很低、散熱設計容易，是路側邊緣計算設備非常理想的高性價比和高能效比計算平臺。這一系列處理器中的很多型號還支持寬溫工作以及對設備進行遠程管理維護的英特爾博銳平臺技術。
本文中的性能評估基于以下兩款第11代英特爾酷睿處理器，其配置如表2中所示。
● 英特爾酷睿i7-1185GRE處理器
● 英特爾酷睿i7-1165G7處理器
兩款處理器的最高性能詳見產(chǎn)品技術規(guī)格[6][7]。
表2. 第11代英特爾酷睿處理器 (Tiger Lake) 配置
集和誠路側MEC設備
基于上述兩款第11代英特爾酷睿處理器，集和誠開發(fā)了全新的KMDA-3301型路側MEC設備（如圖3所示）。其主要特點包括：無風扇散熱、IO接口豐富、鋁型材質、機身纖薄、減震設計等，非常適合部署在路側等嚴苛環(huán)境，為車路協(xié)同應用提供穩(wěn)定可靠的高算力保障。產(chǎn)品規(guī)格詳見集和誠公司網(wǎng)站[8]。
圖3. 集和誠路側MEC設備（KMDA-3301型）
英特爾OpenVINO工具套件分發(fā)版 （以下簡稱OpenVINO）
OpenVINO是源自英特爾的一款功能非常全面的優(yōu)秀軟件工具套件，用于加速高性能計算機視覺和深度學習豐富多樣的應用開發(fā)[9][10]。其顯著的三個特點是：高性能深度學習推理，非常易于使用的簡化開發(fā)流程，一次編寫可任意部署。
具體來說，OpenVINO支持快速開發(fā)豐富多樣的應用和解決方案，來模擬人類的視覺。它能顯著提升視頻分析的準確度，加速推理，并節(jié)約算力資源。該工具套件基于卷積神經(jīng)網(wǎng)絡 (CNN: Convolutional Neural Network)，支持直接異構執(zhí)行，可在多種英特爾芯片平臺中擴展計算機視覺和深度學習的工作負載，實現(xiàn)卓越性能。套件中的英特爾Media SDK 支持在英特爾核芯顯卡上進行高性能的視頻編碼和解碼。OpenVINO支持多種操作系統(tǒng)（包括Windows、Linux和macOS）和編程語言（包括Python和C++）。
OpenVINO免費提供超過280個經(jīng)預先訓練好的神經(jīng)網(wǎng)絡模型和參考代碼，支持模型的量化和調優(yōu)，加速深度學習的推理運算。
操作系統(tǒng)與軟件配置
本文的性能實測部分所涉及的操作系統(tǒng)與軟件采用表3中所列的配置。
表3. 操作系統(tǒng)與軟件配置
基于英特爾架構的激光雷達3D點云處理方案
作為車路協(xié)同中的路側感知設備，激光雷達可以作為獨立的傳感器使用，也可和攝像頭配合形成感知融合的技術方案。這兩種方案中信息處理所需要的算力，均由MEC設備中最核心的英特爾處理器來承載。下面，我們分別介紹這兩種方案所需解決的技術挑戰(zhàn)、基于英特爾架構的解決方案和性能實測效果。
激光雷達作為獨立傳感器
基于英特爾架構的解決方案
在這種方案中，交通目標的檢測基于對激光雷達生成的3D點云進行深度學習的推理，對算力的要求非常高。在實際的交通應用中，處理速度需要達到至少10幀/秒。通過優(yōu)化基于深度學習的3D點云處理流程[11][12]來提升處理速度，對于提升基于部署于路側的MEC平臺的性價比和能效比，至關重要。
我們使用OpenVINO對開源3D點云深度學習模型PointPillars [12]做了優(yōu)化。如圖4所示，藍色模塊依然沿用原生代碼的Python實現(xiàn)，而綠色模塊則使用了OpenVINO中的模型優(yōu)化工具 (Model Optimizer) 進行了加速，具體細節(jié)詳見[13][14]。
圖4. 基于英特爾酷睿處理器 (Tiger Lake) 實現(xiàn)的PointPillars模型
性能實測效果
我們采用KITTI數(shù)據(jù)集[15]中的訓練集來測試性能。相對于OpenVINO優(yōu)化之前的PyTorch格式模型，OpenVINO優(yōu)化之后IR格式模型可以顯著提升吞吐率與處理時延性能（如表4所示）。
表4. 吞吐率與處理時延（基于深度學習的3D點云處理）
感知融合：激光雷達與攝像頭
鐳神雷視一體機
鐳神雷視一體機及其實際部署場景如圖5所示。該設備采用攝像頭和鐳神CH128X1型激光雷達相結合的方式，獲取交通目標與交通環(huán)境的原始數(shù)據(jù)，通過以太網(wǎng)將其傳遞給基于第11代英特爾酷睿處理器的集和誠路側MEC設備進行分析處理。
圖5. 鐳神雷視一體機（激光雷達與攝像頭）及實際部署場景
鐳神CH128X1型激光雷達的激光源不動，通過棱鏡旋轉來掃描空間區(qū)域，實現(xiàn)對水平120°區(qū)域的掃描。其具體規(guī)格參數(shù)如下表5所示。
表5. 鐳神CH128X1激光雷達規(guī)格參數(shù)表
基于英特爾架構的解決方案
為了兼顧處理效率與準確性的需求，鐳神和英特爾共同提出了基于傳統(tǒng)算法和深度學習相結合的目標級感知融合方案，其處理流程如圖6所示。其中，對于激光雷達所采集的3D點云數(shù)據(jù)，我們采用PCL [2][3]中的聚類和追蹤算法來獲取目標的的位置距離和速度等信息；對于攝像頭所采集的2D圖像數(shù)據(jù)，我們采用基于Yolo-v5神經(jīng)網(wǎng)絡和OpenVINO的深度學習算法來獲取目標的類別信息。
我們將3D點云數(shù)據(jù)聚類得到的目標中心點投影到2D圖像上，判斷該點與基于深度學習算法得出的2D圖像中目標位置中心的距離是否小于某一閾值：若是，則確定激光雷達和攝像頭分別檢測到的目標為同一物體，并將該兩種傳感器獲取的目標級結果進行融合。如圖6所示，融合的結果包括目標的類別、位置距離和速度等信息，可根據(jù)需要顯示在2D圖像或者3D點云中。
圖6. 激光雷達與攝像頭的目標級感知融合
性能實測效果
我們使用采集自鐳神CH128X1型激光雷達的3D點云數(shù)據(jù)集，其數(shù)據(jù)文件包含多幀點云數(shù)據(jù)，每個點的參數(shù)包括3D坐標（x, y, z）和反射率（r）。3D點云經(jīng)過處理之后生成圍繞目標的3D框，其檢測結果的標注采用類似于KITTI數(shù)據(jù)集所采用的格式。我們使用集和誠KMDA-3301型路側MEC設備[8]和OpenVINO[9][10]，對于感知融合方案進行了測試，其性能如表6所示。
表6. 感知融合方案的實測性能
實測性能表明，激光雷達無論是作為獨立的傳感器使用，還是和攝像頭配合形成感知融合的技術方案，基于英特爾架構的激光雷達3D點云處理可實現(xiàn)優(yōu)異的性能。
結語與展望
5G在中國已經(jīng)大規(guī)模商用，為終端設備的互聯(lián)互通奠定了高速率、低時延和廣泛連接的網(wǎng)絡基礎。作為 5G 垂直行業(yè)應用中最受矚目的應用場景之一，車聯(lián)網(wǎng)也將在此基礎上加速發(fā)展。基于 5G 新空口的蜂窩車聯(lián)網(wǎng)標準已經(jīng)于 2020 年 6 月完成制定，大規(guī)模試驗和測試即將展開。基于英特爾架構的激光雷達3D點云處理和感知融合方案為車聯(lián)網(wǎng)積極賦能，使能豐富多樣的智能交通場景，顯著提升交通安全與效率。
以數(shù)據(jù)為中心的英特爾公司以世界領先的端到端 AI 與計算機視覺技術以及性能強大、功能完善的硬件與軟件產(chǎn)品組合，聯(lián)合產(chǎn)業(yè)界伙伴，為全球車聯(lián)網(wǎng)產(chǎn)業(yè)的加速發(fā)展奠定了堅實的基礎。
PDF文檔下載
中文版
https://www.intel.cn/content/www/cn/zh/internet-of-things/lidar-3d-point-cloud-perception-fusion-in-iov.html
英文版
ttps://www.intel.cn/content/www/cn/zh/internet-of-things/lidar-3d-point-cloud-perception-fusion-in-iov-en.html
參考文獻
[1] IMT-2020(5G)推進組C-V2X工作組，“基于邊緣計算的路側感知融合系統(tǒng)研究”，2021年9月.
[2] "Point Cloud Library", URL: https://pointclouds.org/
[3] R. B. Rusu and S. Cousins, "3D is here: Point Cloud Library (PCL)," in Proc. 2021 IEEE International Conference on Robotics and Automation (ICRA).
[4] 雷鳴，程加鋼，姜榮華，“基于英特爾架構的集和誠MEC設備加速車聯(lián)網(wǎng)的商用部署”，Intel解決方案白皮書，2020年12月.
[5] 雷鳴，周長軍，姜榮華，“基于英特爾AI計算機視覺的新創(chuàng)中天智能交通路側視頻邊緣計算設備”，Intel解決方案白皮書，2020年9月.
[6] "IntelCorei7-1185GRE Processor", URL: https://ark.intel.com/content/www/us/en/ark/products/208082/intel-core-i7-1185gre-processor-12m-cache-up-to-4-40-ghz.html
[7] "IntelCorei7-1165G7 Processor", URL: https://ark.intel.com/content/www/us/en/ark/products/208662/intel-core-i7-1165g7-processor-12m-cache-up-to-4-70-ghz.html
[8] “集和誠KMDA-3301產(chǎn)品規(guī)格”，URL: http://www.jhctech.com.cn/pro_show.php?id=91
[9] "OpenVINOToolkit Overview", URL: https://docs.openvinotoolkit.org/latest/index.html
[10] OpenVINO Chinese Community, URL: https://zhuanlan.zhihu.com/p/225441633
[11] C. R. Qi, H. Su, K. Mo and L. J. Guibas, "PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation," in Proc. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).
[12] A. H. Lang, S. Vora, H. Caesar, L.-B. Zhou, J. Yang and O. Beijbom, “PointPillars: Fast Encoders for Object Detection From Point Clouds,” in Proc. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).
[13] Q. Xu, S.-X. Liu, H. Ma, J. Du, M. Lei and Y. Wang, “Optimization of PointPillars by using IntelDistribution of OpenVINOToolkit,” online article: https://software.intel.com/content/www/us/en/develop/articles/optimization-of-pointpillars.html, Aug. 2021.
[14] S.-X. Liu, Q. Xu, H. Ma, J. Du, M. Lei, J. Tao and J.-L. Bao, “Optimization of PointPillars (A Deep Learning Network for LiDAR-based 3D Object Detection) on Intel Platform,” in Proc. IEEE International Conference on Power, Intelligent Computing and Systems 2021 (ICPICS 2021), Shenyang, China, July 2021.
[15] "KITTI 3D detection dataset," URL: http://www.cvlibs.net/datasets/kitti/eval_object.php?obj_benchmark=3d
