omniture

黑芝麻智能基于雷視融合3D自動標注技術(shù)助力自動駕駛技術(shù)快速發(fā)展

2023-05-09 14:18 6789

上海2023年5月9日 /美通社/ -- 越來越多的新車開始配備激光雷達,以提高車輛的自主安全性和實現(xiàn)更高級別的輔助駕駛以及自動駕駛能力。然而,純?nèi)斯?D標注和驗收的效率低、耗時長、成本高昂。而通過先進的AI技術(shù),利用車載激光雷達和多攝像頭,可以自動地對車輛、行人、騎行人等動態(tài)道路使用者進行3D物體檢測,進而高效率地輔助甚至部分替代純?nèi)斯俗ⅰ?/p>

日前,在由黑芝麻智能主辦的"2023智能汽車高峰論壇"上,黑芝麻智能機器學(xué)習(xí)專家張蕾發(fā)表了主題為"基于激光雷視融合的3D自動標注技術(shù)助力自動駕駛更上一層樓"的演講,分享了黑芝麻智能在3D數(shù)據(jù)自動標注方面的研發(fā)進展。

自研系統(tǒng)性能方案比肩世界領(lǐng)先算法


在自動駕駛中需要用道路上目標物3D的位置進行規(guī)劃和決策,但傳統(tǒng)的攝像頭解決方案對于深度和3D位置的估計不夠準確。在采用了BEV技術(shù)以后,需要大量的真實3D標注的數(shù)據(jù)來輔助訓(xùn)練BEV上的3D模型,這樣可以融合多個攝像頭的信息,直接去獲得3D世界的物體。

為此,黑芝麻智能自主設(shè)計和開發(fā)了一套基于激光雷達和多攝像頭進行3D自動標注的方案。該方案履行兩階段的方法,第一階段是先通過多幀點云的方式和圖像融合,得到初始的3D標注;第二階段是以物體為中心的3D精調(diào),進一步提高3D檢測精準度。

對于3D物體框的精調(diào),黑芝麻智能采用了兩種不同方案。靜態(tài)物體在多幀點云對齊以后,可以得到一個密度非常高的單個物體點云。在單幀點云里即使看不到一個物體的全貌,但經(jīng)過以物體為中心的點云融合以后,基本上可以看到完整的物體形狀,這樣可以更好地估計其尺寸。另一方面,對于動態(tài)物體,它的軌跡會形成一個有用的信息,根據(jù)動態(tài)累計的點云也可以更好地估計其大小和空間上的位置。


張蕾介紹,黑芝麻智能的這一方案,融合了多種模態(tài),目前包括360度激光雷達和六個攝像頭的信息,還有前融合和后融合的方式。在兩階段的模型里面,采用的是以物體為中心的點云對齊精調(diào)的方式,生成高度緊湊的3D目標檢測框。而多幀激光雷達點云的時序融合,能有效彌補單幀點云的稀疏和遮擋問題。同時,整個模型不同階段可以進行多種融合,下一階段還可以在整個模型的不同層次階段進行融合。另外,在采用了跟圖像檢測做后融合的方法以后,黑芝麻智能還將檢測物體的類別從三類擴展到十三類,并且還可以通過聚合的方式實現(xiàn)復(fù)雜不規(guī)則物體的檢測。與此同時,黑芝麻智能的方案,采用了模塊化設(shè)計,可根據(jù)不同需求增加、去除可選的處理環(huán)節(jié),達到最優(yōu)化效益。

根據(jù)在Waymo公開數(shù)據(jù)上測試的結(jié)果,黑芝麻智能3D 物體自動標注系統(tǒng)的性能可以比肩世界領(lǐng)先算法的性能。

自建數(shù)據(jù)采集系統(tǒng)與完整的云服務(wù)平臺


基于華山二號A1000芯片,黑芝麻智能還可同時提供傳感器采集設(shè)備,客戶可基于這套設(shè)備同步采集360度旋轉(zhuǎn)激光雷達和6個1080p攝像頭數(shù)據(jù),同時采集IMU、GPS、輪速編碼器等多種數(shù)據(jù)。

黑芝麻智能還可以對這一3D自動標注系統(tǒng)做進一步擴展,包括通過差異化的多模型集成來進一步提高算法準確度,通過運行時的數(shù)據(jù)增強來進一步提高算法準確度,通過半監(jiān)督學(xué)習(xí)和自監(jiān)督學(xué)習(xí)來訓(xùn)練更好的模型,通過在神經(jīng)網(wǎng)絡(luò)深層結(jié)構(gòu)上的多傳感器融合來進一步提高模型能力,通過融合聚類方法來檢測未知的路面障礙物等等。

張蕾在演講結(jié)尾時表示,在開發(fā)基于激光雷達和多攝像頭的自動駕駛領(lǐng)域的 3D 物體自動標注系統(tǒng)的同時,黑芝麻智能可為客戶提供數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、3D 自動標注、人工標注及檢驗的云服務(wù)平臺。

消息來源:黑芝麻智能
China-PRNewsire-300-300.png
全球TMT
微信公眾號“全球TMT”發(fā)布全球互聯(lián)網(wǎng)、科技、媒體、通訊企業(yè)的經(jīng)營動態(tài)、財報信息、企業(yè)并購消息。掃描二維碼,立即訂閱!
collection