權(quán)利要求書(shū)： 1.一種基于融合感知的礦用電鏟物料面識(shí)別方法，其特征在于，包括以下步驟：獲取物料面的點(diǎn)云數(shù)據(jù)和圖像信息；其中，所述點(diǎn)云數(shù)據(jù)由安裝在礦鏟上的激光雷達(dá)采集，所述圖像信息由安裝在礦鏟上的攝像頭采集；

接收礦鏟主控系統(tǒng)發(fā)送的礦鏟狀態(tài)的歐拉角信息；

根據(jù)所述歐拉角信息，計(jì)算出激光雷達(dá)坐標(biāo)系相對(duì)于鏟車(chē)坐標(biāo)系的旋轉(zhuǎn)矩陣；根據(jù)激光雷達(dá)在礦鏟上的安裝位置，計(jì)算出激光雷達(dá)坐標(biāo)系相對(duì)于鏟車(chē)坐標(biāo)系的平移矩陣；根據(jù)所述旋轉(zhuǎn)矩陣和平移矩陣，得到激光雷達(dá)坐標(biāo)系下的點(diǎn)坐標(biāo)相對(duì)于鏟車(chē)坐標(biāo)系下的點(diǎn)坐標(biāo)的轉(zhuǎn)換關(guān)系；根據(jù)所述轉(zhuǎn)換關(guān)系，將所述物料面的點(diǎn)云數(shù)據(jù)中每一個(gè)坐標(biāo)點(diǎn)轉(zhuǎn)換為在鏟車(chē)坐標(biāo)系下的坐標(biāo)位置；

根據(jù)物料面的點(diǎn)云數(shù)據(jù)中的坐標(biāo)點(diǎn)在鏟車(chē)坐標(biāo)系下的坐標(biāo)位置，以及所述圖像信息，識(shí)別分割出物料面的有效物料點(diǎn)云；

將所述有效物料點(diǎn)云發(fā)送至礦鏟主控系統(tǒng)。

2.根據(jù)權(quán)利要求1所述的基于融合感知的礦用電鏟物料面識(shí)別方法，其特征在于，根據(jù)所述歐拉角信息，計(jì)算出激光雷達(dá)坐標(biāo)系相對(duì)于鏟車(chē)坐標(biāo)系的旋轉(zhuǎn)矩陣，包括：假設(shè)激光雷達(dá)坐標(biāo)系相對(duì)于鏟車(chē)坐標(biāo)系的旋轉(zhuǎn)矩陣為R，旋轉(zhuǎn)角度為 ,點(diǎn)P在鏟車(chē)坐標(biāo)系 下的坐標(biāo)為( )；點(diǎn)P在激光雷達(dá)坐標(biāo)系 下的坐標(biāo)為( ),得到式（1）的坐標(biāo)系的轉(zhuǎn)換關(guān)系：(1)

根據(jù)式（1），可得 和 為：

? (2)

(3)

根據(jù)式（2）和式（3），可以得出以下的坐標(biāo)轉(zhuǎn)換矩陣等式：(4)

根據(jù)式（4），可得旋轉(zhuǎn)矩陣R為：

(5)

將上述的二維空間內(nèi)的坐標(biāo)旋轉(zhuǎn)推廣至三維空間中繞z軸的旋轉(zhuǎn)，旋轉(zhuǎn)角度 便是歐拉角中的航向角，由于旋轉(zhuǎn)前后z軸沒(méi)有發(fā)生變換，上述公式（4）可以寫(xiě)為以下形式：(6)

由此可得航向角旋轉(zhuǎn)矩陣 為：

(7)

由上述公式（6）同理可以推導(dǎo)出繞坐標(biāo)軸y軸旋轉(zhuǎn) 的俯仰角pictch的公式如下:(8)

由此可得俯仰角pictch旋轉(zhuǎn)矩陣 為：

(9)

也可以推導(dǎo)出繞坐標(biāo)軸x軸旋轉(zhuǎn) 的橫滾角roll的公式如下:(10)

由此可得橫滾角roll旋轉(zhuǎn)矩陣 為：

(11)

由于假設(shè)不存在翻滾角所以此處的橫滾角roll旋轉(zhuǎn)矩陣 設(shè)置為單位矩陣：(12)

按照不同的順序?qū)ψ鴺?biāo)軸進(jìn)行旋轉(zhuǎn)可以得到不同的旋轉(zhuǎn)矩陣R，R共有六種形式，分別為；

(13)；

；

按照歐拉角的測(cè)量方式，每次旋轉(zhuǎn)按照鏟車(chē)底盤(pán)坐標(biāo)系的坐標(biāo)軸進(jìn)行外旋旋轉(zhuǎn)，外旋旋轉(zhuǎn)矩陣是左乘矩陣，按照X?Y?Z的順序進(jìn)行旋轉(zhuǎn)，得到的旋轉(zhuǎn)矩陣是 ,通過(guò)主控系統(tǒng)發(fā)送的歐拉角的角度值，計(jì)算出對(duì)應(yīng)的旋轉(zhuǎn)矩陣。

3.根據(jù)權(quán)利要求2所述的基于融合感知的礦用電鏟物料面識(shí)別方法，其特征在于，根據(jù)激光雷達(dá)在礦鏟上的安裝位置，計(jì)算出激光雷達(dá)坐標(biāo)系相對(duì)于鏟車(chē)坐標(biāo)系的平移矩陣，包括：通過(guò)測(cè)量安裝位置激光雷達(dá)原點(diǎn)到鏟車(chē)坐標(biāo)系原點(diǎn)的三維坐標(biāo)x,y,z，得到激光雷達(dá)與鏟車(chē)坐標(biāo)系的平移矩陣為：(14)。

4.根據(jù)權(quán)利要求3所述的基于融合感知的礦用電鏟物料面識(shí)別方法，其特征在于，根據(jù)所述旋轉(zhuǎn)矩陣和平移矩陣，得到激光雷達(dá)坐標(biāo)系下的點(diǎn)坐標(biāo)相對(duì)于鏟車(chē)坐標(biāo)系下的點(diǎn)坐標(biāo)的轉(zhuǎn)換關(guān)系，包括：根據(jù)所述旋轉(zhuǎn)矩陣和平移矩陣，得到鏟車(chē)坐標(biāo)系下點(diǎn)的坐標(biāo)( , , )與激光雷達(dá)坐標(biāo)系下點(diǎn)的坐標(biāo)( , , )的轉(zhuǎn)換關(guān)系為：(15)。

5.根據(jù)權(quán)利要求4所述的基于融合感知的礦用電鏟物料面識(shí)別方法，其特征在于，根據(jù)物料面的點(diǎn)云數(shù)據(jù)中的坐標(biāo)點(diǎn)在鏟車(chē)坐標(biāo)系下的坐標(biāo)位置，以及所述圖像信息，識(shí)別分割出物料面的有效物料點(diǎn)云，包括：對(duì)物料面的點(diǎn)云數(shù)據(jù)中的坐標(biāo)點(diǎn)進(jìn)行均勻采樣濾波；

對(duì)均勻采樣濾波后的點(diǎn)云數(shù)據(jù)進(jìn)行離群點(diǎn)去除；

擬合出點(diǎn)云數(shù)據(jù)中的最大平面后去除地面點(diǎn)云；

通過(guò)對(duì)分割模型輸入物料面的圖像信息，得到結(jié)果掩膜圖像，其中物料面和背景的像素值不相同；利用閾值分割以及輪廓檢測(cè)得到物料面的圖像位置信息；

利用點(diǎn)云圖像融合原理，將物料面的點(diǎn)云數(shù)據(jù)中的坐標(biāo)點(diǎn)在鏟車(chē)坐標(biāo)系下的坐標(biāo)位置通過(guò)配準(zhǔn)迭代映射到物料面的圖像上，通過(guò)在圖像分割的物料面區(qū)域中進(jìn)一步分割點(diǎn)云，得到有效物料點(diǎn)云。

6.根據(jù)權(quán)利要求5所述的基于融合感知的礦用電鏟物料面識(shí)別方法，其特征在于，利用點(diǎn)云圖像融合原理，將物料面的點(diǎn)云數(shù)據(jù)中的坐標(biāo)點(diǎn)在鏟車(chē)坐標(biāo)系下的坐標(biāo)位置通過(guò)配準(zhǔn)迭代映射到物料面的圖像上，通過(guò)在圖像分割的物料面區(qū)域中進(jìn)一步分割點(diǎn)云，得到有效物料點(diǎn)云，包括：在點(diǎn)云中隨機(jī)選取種子點(diǎn)，利用k?d樹(shù)對(duì)種子點(diǎn)半徑r范圍內(nèi)進(jìn)行搜索，如果在這個(gè)范圍內(nèi)存在點(diǎn)，則將這些點(diǎn)與種子點(diǎn)歸為同一聚類(lèi)簇；

在聚類(lèi)簇中選取新的種子點(diǎn)，繼續(xù)執(zhí)行上一步中的半徑內(nèi)搜索過(guò)程，直到聚類(lèi)簇中的點(diǎn)數(shù)不再增加，則該聚類(lèi)簇聚類(lèi)結(jié)束；

通過(guò)算法的輸入?yún)?shù)設(shè)置聚類(lèi)的點(diǎn)數(shù)范圍，所述點(diǎn)數(shù)范圍為每個(gè)聚類(lèi)所限制的最大最小點(diǎn)數(shù)；

若聚類(lèi)簇點(diǎn)數(shù)在閾值范圍內(nèi)，則保留該聚類(lèi)結(jié)果，否則予以去除；

在剩余的點(diǎn)云中再次選擇新的種子點(diǎn)，繼續(xù)執(zhí)行以上步驟，直到遍歷完點(diǎn)云中的所有的點(diǎn)；通過(guò)多次迭代保存多個(gè)符合點(diǎn)云點(diǎn)數(shù)閾值的聚類(lèi)簇，從中挑選出點(diǎn)數(shù)最多的聚類(lèi)，作為需要的最終的有效物料點(diǎn)云。

7.根據(jù)權(quán)利要求1所述的基于融合感知的礦用電鏟物料面識(shí)別方法，其特征在于，接收礦鏟主控系統(tǒng)發(fā)送的礦鏟狀態(tài)的歐拉角信息之前，所述方法還包括：設(shè)定處理器與礦鏟主控系統(tǒng)的通訊協(xié)議以及具體報(bào)文格式，包括心跳包格式和礦鏟主控系統(tǒng)給處理器發(fā)送的通知報(bào)文要求以及處理器發(fā)送給礦鏟主控系統(tǒng)的應(yīng)答以及掃描結(jié)果報(bào)文要求；

根據(jù)礦鏟主控系統(tǒng)所在的ip地址以及偵聽(tīng)開(kāi)啟的端口號(hào)對(duì)礦鏟主控系統(tǒng)進(jìn)行連接，連接成功后處理器開(kāi)始給礦鏟主控系統(tǒng)發(fā)送心跳包以確定兩者的連接狀態(tài)；

當(dāng)?shù)V鏟激光雷達(dá)所在的方向朝向物料面時(shí)，礦鏟主控系統(tǒng)向處理器發(fā)送掃描通知以及礦鏟狀態(tài)的歐拉角信息，所述歐拉角信息包括旋轉(zhuǎn)角、橫滾角和俯仰角，處理器接收到通知后向礦鏟主控系統(tǒng)發(fā)送開(kāi)始掃描的信號(hào)。

8.一種基于融合感知的礦用電鏟物料面識(shí)別裝置，其特征在于，包括：獲取單元，用于獲取物料面的點(diǎn)云數(shù)據(jù)和圖像信息；其中，所述點(diǎn)云數(shù)據(jù)由安裝在礦鏟上的激光雷達(dá)采集，所述圖像信息由安裝在礦鏟上的攝像頭采集；

接收單元，用于接收礦鏟主控系統(tǒng)發(fā)送的礦鏟狀態(tài)的歐拉角信息；

轉(zhuǎn)換單元，用于根據(jù)所述歐拉角信息，計(jì)算出激光雷達(dá)坐標(biāo)系相對(duì)于鏟車(chē)坐標(biāo)系的旋轉(zhuǎn)矩陣；根據(jù)激光雷達(dá)在礦鏟上的安裝位置，計(jì)算出激光雷達(dá)坐標(biāo)系相對(duì)于鏟車(chē)坐標(biāo)系的平移矩陣；根據(jù)所述旋轉(zhuǎn)矩陣和平移矩陣，得到激光雷達(dá)坐標(biāo)系下的點(diǎn)坐標(biāo)相對(duì)于鏟車(chē)坐標(biāo)系下的點(diǎn)坐標(biāo)的轉(zhuǎn)換關(guān)系；根據(jù)所述轉(zhuǎn)換關(guān)系，將所述物料面的點(diǎn)云數(shù)據(jù)中每一個(gè)坐標(biāo)點(diǎn)轉(zhuǎn)換為在鏟車(chē)坐標(biāo)系下的坐標(biāo)位置；

識(shí)別單元，用于根據(jù)物料面的點(diǎn)云數(shù)據(jù)中的坐標(biāo)點(diǎn)在鏟車(chē)坐標(biāo)系下的坐標(biāo)位置，以及所述圖像信息，識(shí)別分割出物料面的有效物料點(diǎn)云；

發(fā)送單元，用于將所述有效物料點(diǎn)云發(fā)送至礦鏟主控系統(tǒng)。

9.一種基于融合感知的礦用電鏟物料面識(shí)別系統(tǒng)，其特征在于，包括：激光雷達(dá)與圖像融合感知裝置、礦鏟主控系統(tǒng)以及處理器；所述激光雷達(dá)與圖像融合感知裝置內(nèi)設(shè)置有激光雷達(dá)和攝像頭，所述激光雷達(dá)與圖像融合感知裝置設(shè)置在礦鏟上；所述激光雷達(dá)、攝像頭與所述處理器通信連接，所述處理器與所述礦鏟主控系統(tǒng)通信連接；

所述激光雷達(dá)與圖像融合感知裝置，用于采用物料面的點(diǎn)云數(shù)據(jù)和圖像信息；

所述處理器，用于接收礦鏟主控系統(tǒng)發(fā)送的礦鏟狀態(tài)的歐拉角信息；根據(jù)所述歐拉角信息，計(jì)算出激光雷達(dá)坐標(biāo)系相對(duì)于鏟車(chē)坐標(biāo)系的旋轉(zhuǎn)矩陣；根據(jù)激光雷達(dá)在礦鏟上的安裝位置，計(jì)算出激光雷達(dá)坐標(biāo)系相對(duì)于鏟車(chē)坐標(biāo)系的平移矩陣；根據(jù)所述旋轉(zhuǎn)矩陣和平移矩陣，得到激光雷達(dá)坐標(biāo)系下的點(diǎn)坐標(biāo)相對(duì)于鏟車(chē)坐標(biāo)系下的點(diǎn)坐標(biāo)的轉(zhuǎn)換關(guān)系；根據(jù)所述轉(zhuǎn)換關(guān)系，將所述物料面的點(diǎn)云數(shù)據(jù)中每一個(gè)坐標(biāo)點(diǎn)轉(zhuǎn)換為在鏟車(chē)坐標(biāo)系下的坐標(biāo)位置；根據(jù)物料面的點(diǎn)云數(shù)據(jù)中的坐標(biāo)點(diǎn)在鏟車(chē)坐標(biāo)系下的坐標(biāo)位置，以及所述圖像信息，識(shí)別分割出物料面的有效物料點(diǎn)云；將所述有效物料點(diǎn)云發(fā)送至礦鏟主控系統(tǒng)；

所述礦鏟主控系統(tǒng)，用于向處理器發(fā)送掃描指令、礦鏟狀態(tài)的歐拉角信息，以及接收處理器發(fā)送的有效物料點(diǎn)云。

說(shuō)明書(shū)： 基于融合感知的礦用電鏟物料面識(shí)別方法、裝置及系統(tǒng)技術(shù)領(lǐng)域[0001] 本發(fā)明涉及礦用電鏟物料面識(shí)別技術(shù)領(lǐng)域，具體涉及一種基于融合感知的礦用電鏟物料面識(shí)別方法、裝置及系統(tǒng)。背景技術(shù)[0002] 礦山實(shí)際工作場(chǎng)景環(huán)境較為惡劣，夏季高溫暴曬，冬季低溫大風(fēng)且時(shí)常伴有沙塵暴，鏟車(chē)師傅在控制電鏟進(jìn)行物料挖掘時(shí)，也面臨由外界環(huán)境以及操作經(jīng)驗(yàn)等方面帶來(lái)的限制，操作的效率不高且存在一定的安全隱患。為確保礦山現(xiàn)場(chǎng)工作的安全性以及在此基礎(chǔ)上提高礦物挖掘的效率，無(wú)人化礦卡的技術(shù)推動(dòng)很有必要，而作為無(wú)人控制的核心關(guān)鍵點(diǎn)便是能夠正確獲取到礦物的具體坐標(biāo)位置，在定位礦物精確位置的基礎(chǔ)上對(duì)鏟車(chē)進(jìn)行遠(yuǎn)程或無(wú)人軌跡規(guī)劃以正確挖取到物料。[0003] 現(xiàn)有的視覺(jué)方案很難達(dá)到獲取具體精確的位置坐標(biāo)的同時(shí)對(duì)三維物料面進(jìn)行識(shí)別和分割，難以滿足實(shí)際的鏟車(chē)對(duì)物料的定位需求。因此，有必要提出一種基于融合感知的礦用電鏟物料面識(shí)別方法及裝置，以解決上述問(wèn)題。發(fā)明內(nèi)容[0004] 本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的不足之處，提供一種基于融合感知的礦用電鏟物料面識(shí)別方法、裝置及系統(tǒng)，以解決現(xiàn)有技術(shù)很難達(dá)到獲取具體精確的位置坐標(biāo)的同時(shí)對(duì)三維物料面進(jìn)行識(shí)別和分割，難以滿足實(shí)際的鏟車(chē)對(duì)物料的定位需求的問(wèn)題。[0005] 第一方面，本發(fā)明提供一種基于融合感知的礦用電鏟物料面識(shí)別方法，包括以下步驟：[0006] 獲取物料面的點(diǎn)云數(shù)據(jù)和圖像信息；其中，所述點(diǎn)云數(shù)據(jù)由安裝在礦鏟上的激光雷達(dá)采集，所述圖像信息由安裝在礦鏟上的攝像頭采集；[0007] 接收礦鏟主控系統(tǒng)發(fā)送的礦鏟狀態(tài)的歐拉角信息；[0008] 根據(jù)激光雷達(dá)在礦鏟上的安裝位置以及所述歐拉角信息，將所述物料面的點(diǎn)云數(shù)據(jù)中的坐標(biāo)點(diǎn)轉(zhuǎn)換為在鏟車(chē)坐標(biāo)系下的坐標(biāo)位置；[0009] 根據(jù)物料面的點(diǎn)云數(shù)據(jù)中的坐標(biāo)點(diǎn)在鏟車(chē)坐標(biāo)系下的坐標(biāo)位置，以及所述圖像信息，識(shí)別分割出物料面的有效物料點(diǎn)云；[0010] 將所述有效物料點(diǎn)云發(fā)送至礦鏟主控系統(tǒng)。[0011] 進(jìn)一步地，根據(jù)激光雷達(dá)在礦鏟上的安裝位置以及所述歐拉角信息，將所述物料面的點(diǎn)云數(shù)據(jù)中的坐標(biāo)點(diǎn)轉(zhuǎn)換為在鏟車(chē)坐標(biāo)系下的坐標(biāo)位置，包括：[0012] 根據(jù)所述歐拉角信息，計(jì)算出激光雷達(dá)坐標(biāo)系相對(duì)于鏟車(chē)坐標(biāo)系的旋轉(zhuǎn)矩陣；[0013] 根據(jù)激光雷達(dá)在礦鏟上的安裝位置，計(jì)算出激光雷達(dá)坐標(biāo)系相對(duì)于鏟車(chē)坐標(biāo)系的平移矩陣；[0014] 根據(jù)所述旋轉(zhuǎn)矩陣和平移矩陣，得到激光雷達(dá)坐標(biāo)系下的點(diǎn)坐標(biāo)相對(duì)于鏟車(chē)坐標(biāo)系下的點(diǎn)坐標(biāo)的轉(zhuǎn)換關(guān)系；[0015] 根據(jù)所述轉(zhuǎn)換關(guān)系，將所述物料面的點(diǎn)云數(shù)據(jù)中每一個(gè)坐標(biāo)點(diǎn)轉(zhuǎn)換為在鏟車(chē)坐標(biāo)系下的坐標(biāo)位置。[0016] 進(jìn)一步地，根據(jù)所述歐拉角信息，計(jì)算出激光雷達(dá)坐標(biāo)系相對(duì)于鏟車(chē)坐標(biāo)系的旋轉(zhuǎn)矩陣，包括：[0017] 假設(shè)激光雷達(dá)坐標(biāo)系相對(duì)于鏟車(chē)坐標(biāo)系的旋轉(zhuǎn)矩陣為R，旋轉(zhuǎn)角度為 ,點(diǎn)P在鏟車(chē)坐標(biāo)系 下的坐標(biāo)為( )；點(diǎn)P在激光雷達(dá)坐標(biāo)系 下的坐標(biāo)為( ),得到式（1）的坐標(biāo)系的轉(zhuǎn)換關(guān)系：

[0018] (1)[0019] 根據(jù)式（1），可得 和 為：[0020] ? (2)[0021] (3)[0022] 根據(jù)式（2）和式（3），可以得出以下的坐標(biāo)轉(zhuǎn)換矩陣等式：[0023] (4)[0024] 根據(jù)式（4），可得旋轉(zhuǎn)矩陣R為：[0025] (5)[0026] 將上述的二維空間內(nèi)的坐標(biāo)旋轉(zhuǎn)推廣至三維空間中繞z軸的旋轉(zhuǎn)，旋轉(zhuǎn)角度 便是歐拉角中的航向角，由于旋轉(zhuǎn)前后z軸沒(méi)有發(fā)生變換，上述公式（4）可以寫(xiě)為以下形式：[0027] (6)[0028] 由此可得航向角旋轉(zhuǎn)矩陣 為：[0029] (7)[0030] 由上述公式（6）同理可以推導(dǎo)出繞坐標(biāo)軸y軸旋轉(zhuǎn) 的俯仰角pictch的公式如下:[0031] (8)[0032] 由此可得俯仰角pictch旋轉(zhuǎn)矩陣 為：[0033] (9)[0034] 也可以推導(dǎo)出繞坐標(biāo)軸x軸旋轉(zhuǎn) 的橫滾角roll的公式如下:[0035] (10)[0036] 由此可得橫滾角roll旋轉(zhuǎn)矩陣 為：[0037] (11)[0038] 由于假設(shè)不存在翻滾角所以此處的橫滾角roll旋轉(zhuǎn)矩陣 設(shè)置為單位矩陣：[0039] (12)[0040] 按照不同的順序?qū)ψ鴺?biāo)軸進(jìn)行旋轉(zhuǎn)可以得到不同的旋轉(zhuǎn)矩陣R，R共有六種形式，分別為[0041][0042] (13)[0043] ；[0044] 按照歐拉角的測(cè)量方式，每次旋轉(zhuǎn)按照鏟車(chē)底盤(pán)坐標(biāo)系的坐標(biāo)軸進(jìn)行外旋旋轉(zhuǎn)，外旋旋轉(zhuǎn)矩陣是左乘矩陣，按照X?Y?Z的順序進(jìn)行旋轉(zhuǎn)，得到的旋轉(zhuǎn)矩陣是 ,通過(guò)主控系統(tǒng)發(fā)送的歐拉角的角度值，計(jì)算出對(duì)應(yīng)的旋轉(zhuǎn)矩陣。[0045] 進(jìn)一步地，根據(jù)激光雷達(dá)在礦鏟上的安裝位置，計(jì)算出激光雷達(dá)坐標(biāo)系相對(duì)于鏟車(chē)坐標(biāo)系的平移矩陣，包括：[0046] 通過(guò)測(cè)量安裝位置激光雷達(dá)原點(diǎn)到鏟車(chē)坐標(biāo)系原點(diǎn)的三維坐標(biāo)x,y,z，得到激光雷達(dá)與鏟車(chē)坐標(biāo)系的平移矩陣為：[0047] (14)。[0048] 進(jìn)一步地，根據(jù)所述旋轉(zhuǎn)矩陣和平移矩陣，得到激光雷達(dá)坐標(biāo)系下的點(diǎn)坐標(biāo)相對(duì)于鏟車(chē)坐標(biāo)系下的點(diǎn)坐標(biāo)的轉(zhuǎn)換關(guān)系，包括：[0049] 根據(jù)所述旋轉(zhuǎn)矩陣和平移矩陣，得到鏟車(chē)坐標(biāo)系下點(diǎn)的坐標(biāo)((Xc,Yc,Zc))與激光雷達(dá)坐標(biāo)系下點(diǎn)的坐標(biāo)( , , )的轉(zhuǎn)換關(guān)系為：[0050] (15)。[0051] 進(jìn)一步地，根據(jù)物料面的點(diǎn)云數(shù)據(jù)中的坐標(biāo)點(diǎn)在鏟車(chē)坐標(biāo)系下的坐標(biāo)位置，以及所述圖像信息，識(shí)別分割出物料面的有效物料點(diǎn)云，包括：[0052] 對(duì)物料面的點(diǎn)云數(shù)據(jù)中的坐標(biāo)點(diǎn)進(jìn)行均勻采樣濾波；[0053] 對(duì)均勻采樣濾波后的點(diǎn)云數(shù)據(jù)進(jìn)行離群點(diǎn)去除；[0054] 擬合出點(diǎn)云數(shù)據(jù)中的最大平面后去除地面點(diǎn)云；[0055] 通過(guò)對(duì)分割模型輸入物料面的圖像信息，得到結(jié)果掩膜圖像，其中物料面和背景的像素值不相同；利用閾值分割以及輪廓檢測(cè)得到物料面的圖像位置信息；[0056] 利用點(diǎn)云圖像融合原理，將物料面的點(diǎn)云數(shù)據(jù)中的坐標(biāo)點(diǎn)在鏟車(chē)坐標(biāo)系下的坐標(biāo)位置通過(guò)配準(zhǔn)迭代映射到物料面的圖像上，通過(guò)在圖像分割的物料面區(qū)域中進(jìn)一步分割點(diǎn)云，得到有效物料點(diǎn)云。[0057] 進(jìn)一步地，利用點(diǎn)云圖像融合原理，將物料面的點(diǎn)云數(shù)據(jù)中的坐標(biāo)點(diǎn)在鏟車(chē)坐標(biāo)系下的坐標(biāo)位置通過(guò)配準(zhǔn)迭代映射到物料面的圖像上，通過(guò)在圖像分割的物料面區(qū)域中進(jìn)一步分割點(diǎn)云，得到有效物料點(diǎn)云，包括：[0058] 在點(diǎn)云中隨機(jī)選取種子點(diǎn)，利用k?d樹(shù)對(duì)種子點(diǎn)半徑r范圍內(nèi)進(jìn)行搜索，如果在這個(gè)范圍內(nèi)存在點(diǎn)，則將這些點(diǎn)與種子點(diǎn)歸為同一聚類(lèi)簇；[0059] 在聚類(lèi)簇中選取新的種子點(diǎn)，繼續(xù)執(zhí)行上一步中的半徑內(nèi)搜索過(guò)程，直到聚類(lèi)簇中的點(diǎn)數(shù)不再增加，則該聚類(lèi)簇聚類(lèi)結(jié)束；[0060] 通過(guò)算法的輸入?yún)?shù)設(shè)置聚類(lèi)的點(diǎn)數(shù)范圍，所述點(diǎn)數(shù)范圍為每個(gè)聚類(lèi)所限制的最大最小點(diǎn)數(shù)；[0061] 若聚類(lèi)簇點(diǎn)數(shù)在閾值范圍內(nèi)，則保留該聚類(lèi)結(jié)果，否則予以去除；[0062] 在剩余的點(diǎn)云中再次選擇新的種子點(diǎn)，繼續(xù)執(zhí)行以上步驟，直到遍歷完點(diǎn)云中的所有的點(diǎn)；通過(guò)多次迭代保存多個(gè)符合點(diǎn)云點(diǎn)數(shù)閾值的聚類(lèi)簇，從中挑選出點(diǎn)數(shù)最多的聚類(lèi)，作為需要的最終的有效物料點(diǎn)云。[0063] 進(jìn)一步地，接收礦鏟主控系統(tǒng)發(fā)送的礦鏟狀態(tài)的歐拉角信息之前，所述方法還包括：[0064] 設(shè)定處理器與礦鏟主控系統(tǒng)的通訊協(xié)議以及具體報(bào)文格式，包括心跳包格式和礦鏟主控系統(tǒng)給處理器發(fā)送的通知報(bào)文要求以及處理器發(fā)送給礦鏟主控系統(tǒng)的應(yīng)答以及掃描結(jié)果報(bào)文要求；[0065] 根據(jù)礦鏟主控系統(tǒng)所在的ip地址以及偵聽(tīng)開(kāi)啟的端口號(hào)對(duì)礦鏟主控系統(tǒng)進(jìn)行連接，連接成功后處理器開(kāi)始給礦鏟主控系統(tǒng)發(fā)送心跳包以確定兩者的連接狀態(tài)；[0066] 當(dāng)?shù)V鏟激光雷達(dá)所在的方向朝向物料面時(shí)，礦鏟主控系統(tǒng)向處理器發(fā)送掃描通知以及礦鏟狀態(tài)的歐拉角信息，所述歐拉角信息包括旋轉(zhuǎn)角、橫滾角和俯仰角，處理器接收到通知后向礦鏟主控系統(tǒng)發(fā)送開(kāi)始掃描的信號(hào)。[0067] 第二方面，本發(fā)明提供一種基于融合感知的礦用電鏟物料面識(shí)別裝置，包括：[0068] 獲取單元，用于獲取物料面的點(diǎn)云數(shù)據(jù)和圖像信息；其中，所述點(diǎn)云數(shù)據(jù)由安裝在礦鏟上的激光雷達(dá)采集，所述圖像信息由安裝在礦鏟上的攝像頭采集；[0069] 接收單元，用于接收礦鏟主控系統(tǒng)發(fā)送的礦鏟狀態(tài)的歐拉角信息；[0070] 轉(zhuǎn)換單元，用于根據(jù)激光雷達(dá)在礦鏟上的安裝位置以及所述歐拉角信息，將所述物料面的點(diǎn)云數(shù)據(jù)中的坐標(biāo)點(diǎn)轉(zhuǎn)換為在鏟車(chē)坐標(biāo)系下的坐標(biāo)位置；[0071] 識(shí)別單元，用于根據(jù)物料面的點(diǎn)云數(shù)據(jù)中的坐標(biāo)點(diǎn)在鏟車(chē)坐標(biāo)系下的坐標(biāo)位置，以及所述圖像信息，識(shí)別分割出物料面的有效物料點(diǎn)云；[0072] 發(fā)送單元，用于將所述有效物料點(diǎn)云發(fā)送至礦鏟主控系統(tǒng)。[0073] 第三方面，本發(fā)明提供一種基于融合感知的礦用電鏟物料面識(shí)別系統(tǒng)，包括：激光雷達(dá)與圖像融合感知裝置、礦鏟主控系統(tǒng)以及處理器；所述激光雷達(dá)與圖像融合感知裝置內(nèi)設(shè)置有激光雷達(dá)和攝像頭，所述激光雷達(dá)與圖像融合感知裝置設(shè)置在礦鏟上；所述激光雷達(dá)、攝像頭與所述處理器通信連接，所述處理器與所述礦鏟主控系統(tǒng)通信連接；[0074] 所述激光雷達(dá)與圖像融合感知裝置，用于采用物料面的點(diǎn)云數(shù)據(jù)和圖像信息；[0075] 所述處理器，用于接收礦鏟主控系統(tǒng)發(fā)送的礦鏟狀態(tài)的歐拉角信息；根據(jù)激光雷達(dá)在礦鏟上的安裝位置以及所述歐拉角信息，將所述物料面的點(diǎn)云數(shù)據(jù)中的坐標(biāo)點(diǎn)轉(zhuǎn)換為在鏟車(chē)坐標(biāo)系下的坐標(biāo)位置；根據(jù)物料面的點(diǎn)云數(shù)據(jù)中的坐標(biāo)點(diǎn)在鏟車(chē)坐標(biāo)系下的坐標(biāo)位置，以及所述圖像信息，識(shí)別分割出物料面的有效物料點(diǎn)云；將所述有效物料點(diǎn)云發(fā)送至礦鏟主控系統(tǒng)；[0076] 所述礦鏟主控系統(tǒng)，用于向處理器發(fā)送掃描指令、礦鏟狀態(tài)的歐拉角信息，以及接收處理器發(fā)送的有效物料點(diǎn)云[0077] 本發(fā)明具有以下有益效果：本發(fā)明提供的基于融合感知的礦用電鏟物料面識(shí)別方法、裝置及系統(tǒng)，獲取物料面的點(diǎn)云數(shù)據(jù)和圖像信息，點(diǎn)云數(shù)據(jù)由安裝在礦鏟上的激光雷達(dá)采集，圖像信息由安裝在礦鏟上的攝像頭采集；接收礦鏟主控系統(tǒng)發(fā)送的礦鏟狀態(tài)的歐拉角信息；根據(jù)激光雷達(dá)在礦鏟上的安裝位置以及歐拉角信息，將物料面的點(diǎn)云數(shù)據(jù)中的坐標(biāo)點(diǎn)轉(zhuǎn)換為在鏟車(chē)坐標(biāo)系下的坐標(biāo)位置；根據(jù)物料面的點(diǎn)云數(shù)據(jù)中的坐標(biāo)點(diǎn)在鏟車(chē)坐標(biāo)系下的坐標(biāo)位置，以及圖像信息，識(shí)別分割出物料面的有效物料點(diǎn)云；將有效物料點(diǎn)云發(fā)送至礦鏟主控系統(tǒng)，以為后續(xù)礦鏟主控系統(tǒng)的路徑規(guī)劃和物料挖取提供數(shù)據(jù)基礎(chǔ)，能夠獲取具體精確的位置坐標(biāo)的同時(shí)對(duì)三維物料面進(jìn)行識(shí)別和分割，滿足實(shí)際的鏟車(chē)對(duì)物料的定位需求。附圖說(shuō)明[0078] 為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例中所需要使用的附圖作簡(jiǎn)單的介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。[0079] 圖1是本發(fā)明的基于融合感知的礦用電鏟物料面識(shí)別方法的流程圖；[0080] 圖2是二維坐標(biāo)系轉(zhuǎn)換示意圖；[0081] 圖3是航向角轉(zhuǎn)換示意圖；[0082] 圖4是俯仰角轉(zhuǎn)換示意圖；[0083] 圖5是橫滾角轉(zhuǎn)換示意圖；[0084] 圖6是三維坐標(biāo)系轉(zhuǎn)換示意圖；[0085] 圖7是本發(fā)明的基于融合感知的礦用電鏟物料面識(shí)別裝置的示意圖；[0086] 圖8是本發(fā)明的基于融合感知的礦用電鏟物料面識(shí)別系統(tǒng)的示意圖。具體實(shí)施方式[0087] 需要說(shuō)明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互組合。下面將參考附圖并結(jié)合實(shí)施例來(lái)詳細(xì)說(shuō)明本發(fā)明。應(yīng)該指出，以下詳細(xì)說(shuō)明都是例示性的，旨在對(duì)本申請(qǐng)?zhí)峁┻M(jìn)一步的說(shuō)明。除非另有指明，本文使用的所有技術(shù)和科學(xué)術(shù)語(yǔ)具有與本申請(qǐng)所屬技術(shù)領(lǐng)域的普通技術(shù)人員通常理解的相同含義。[0088] 請(qǐng)參閱圖1，本發(fā)明提供一種基于融合感知的礦用電鏟物料面識(shí)別方法，該方法的執(zhí)行主體為處理器，該方法包括以下步驟：[0089] S101，獲取物料面的點(diǎn)云數(shù)據(jù)和圖像信息；其中，所述點(diǎn)云數(shù)據(jù)由安裝在礦鏟上的激光雷達(dá)采集，所述圖像信息由安裝在礦鏟上的攝像頭采集。[0090] 在礦鏟上安裝激光雷達(dá)與圖像融合感知裝置，該裝置具有傳感器減震結(jié)構(gòu)，激光雷達(dá)與2D攝像頭結(jié)合的傳感器結(jié)構(gòu)，感應(yīng)口密封結(jié)構(gòu)，拆裝維護(hù)口密封結(jié)構(gòu)以及電控雨刮結(jié)構(gòu)，能夠較好的適應(yīng)礦山較為惡劣的環(huán)境要求。通過(guò)攝像頭可實(shí)時(shí)監(jiān)控和獲取物料面的圖像數(shù)據(jù)，方便后續(xù)結(jié)合點(diǎn)云數(shù)據(jù)對(duì)物料面進(jìn)行識(shí)別和分割。根據(jù)現(xiàn)場(chǎng)物料面的位置高度以及視場(chǎng)要求選取合適的面陣式激光雷達(dá)，同時(shí)激光雷達(dá)還需具備防水防震指標(biāo)以穩(wěn)定的獲取物料面的點(diǎn)云數(shù)據(jù)。將激光雷達(dá)與處理器建立tcp/ip鏈接以獲取實(shí)時(shí)點(diǎn)云數(shù)據(jù)，激光雷達(dá)獲取的物料面的三維坐標(biāo)點(diǎn)信息以及同一時(shí)刻的二維圖像信息就可以通過(guò)局域網(wǎng)的tcp/ip通信發(fā)送給處理器。[0091] S102，接收礦鏟主控系統(tǒng)發(fā)送的礦鏟狀態(tài)的歐拉角信息。[0092] 處理器建立與礦鏟主控系統(tǒng)的tcp/ip指令，以接收掃描指令以及礦鏟當(dāng)時(shí)的歐拉角信息。設(shè)定處理器與礦鏟主控系統(tǒng)的通訊協(xié)議以及具體報(bào)文格式，包括心跳包格式和礦鏟主控系統(tǒng)給處理器發(fā)送的通知報(bào)文要求以及處理器發(fā)送給礦鏟主控系統(tǒng)的應(yīng)答以及掃描結(jié)果報(bào)文要求。根據(jù)礦鏟主控系統(tǒng)所在的ip地址以及偵聽(tīng)開(kāi)啟的端口號(hào)對(duì)礦鏟主控系統(tǒng)進(jìn)行連接，連接成功后處理器開(kāi)始給礦鏟主控系統(tǒng)發(fā)送心跳包以確定兩者的連接狀態(tài)；當(dāng)?shù)V鏟激光雷達(dá)所在的方向朝向物料面時(shí)，礦鏟主控系統(tǒng)向處理器發(fā)送掃描通知以及礦鏟狀態(tài)的歐拉角信息，所述歐拉角信息包括旋轉(zhuǎn)角、橫滾角和俯仰角，處理器接收到通知后向礦鏟主控系統(tǒng)發(fā)送開(kāi)始掃描的信號(hào)。[0093] 具體地，歐拉角信息包括旋轉(zhuǎn)角、橫滾角和俯仰角。[0094] S103，根據(jù)激光雷達(dá)在礦鏟上的安裝位置以及所述歐拉角信息，將所述物料面的點(diǎn)云數(shù)據(jù)中的坐標(biāo)點(diǎn)轉(zhuǎn)換為在鏟車(chē)坐標(biāo)系下的坐標(biāo)位置。[0095] 由于激光雷達(dá)獲取的點(diǎn)云數(shù)據(jù)是相對(duì)于激光雷達(dá)坐標(biāo)系的，為了使鏟車(chē)最終得到的點(diǎn)云數(shù)據(jù)是在鏟車(chē)坐標(biāo)系下的，需要對(duì)點(diǎn)云中的每一個(gè)點(diǎn)的坐標(biāo)進(jìn)行坐標(biāo)轉(zhuǎn)換。[0096] 具體地，根據(jù)所述歐拉角信息，計(jì)算出激光雷達(dá)坐標(biāo)系相對(duì)于鏟車(chē)坐標(biāo)系的旋轉(zhuǎn)矩陣。首先是需要對(duì)坐標(biāo)系進(jìn)行旋轉(zhuǎn)變換，先以二維平面的單位向量坐標(biāo)轉(zhuǎn)換為例，假設(shè)激光雷達(dá)坐標(biāo)系相對(duì)于鏟車(chē)坐標(biāo)系的旋轉(zhuǎn)矩陣為R，旋轉(zhuǎn)角度為 ,點(diǎn)P在鏟車(chē)坐標(biāo)系 下的坐標(biāo)為( )；點(diǎn)P在激光雷達(dá)坐標(biāo)系 下的坐標(biāo)為( ),得到式（1）的坐標(biāo)系的轉(zhuǎn)換關(guān)系：[0097] (1)[0098] 根據(jù)式（1），可得 和 為：[0099] ? (2)[0100] (3)[0101] 根據(jù)式（2）和式（3），可以得出以下的坐標(biāo)轉(zhuǎn)換矩陣等式：[0102] (4)[0103] 根據(jù)式（4），可得旋轉(zhuǎn)矩陣R為：[0104] (5)[0105] 由二維推廣至三維，由右手定則可以想象在圖2中的O點(diǎn)處有一條垂直于XOY平面指向屏幕的的Z軸：請(qǐng)參閱圖3，將上述的二維空間內(nèi)的坐標(biāo)旋轉(zhuǎn)推廣至三維空間中繞z軸的旋轉(zhuǎn)，旋轉(zhuǎn)角度 便是歐拉角中的航向角（也稱(chēng)偏航角yaw），由于旋轉(zhuǎn)前后z軸沒(méi)有發(fā)生變換，上述公式（4）可以寫(xiě)為以下形式：[0106] (6)[0107] 由此可得航向角旋轉(zhuǎn)矩陣 為：[0108] (7)[0109] 請(qǐng)參閱圖4，由上述公式（6）同理可以推導(dǎo)出繞坐標(biāo)軸y軸旋轉(zhuǎn) 的俯仰角pictch的公式如下:[0110] (8)[0111] 由此可得俯仰角pictch旋轉(zhuǎn)矩陣 為：[0112] (9)[0113] 請(qǐng)參閱圖5，也可以推導(dǎo)出繞坐標(biāo)軸x軸旋轉(zhuǎn) 的橫滾角roll的公式如下:[0114] (10)[0115] 由此可得橫滾角roll旋轉(zhuǎn)矩陣 為：[0116] (11)[0117] 由于假設(shè)不存在翻滾角所以此處的橫滾角roll旋轉(zhuǎn)矩陣 設(shè)置為單位矩陣：[0118] (12)[0119] 按照不同的順序?qū)ψ鴺?biāo)軸進(jìn)行旋轉(zhuǎn)可以得到不同的旋轉(zhuǎn)矩陣R，R共有六種形式，分別為[0120] ；[0121] (13)[0122] ；[0123] 按照歐拉角的測(cè)量方式，每次旋轉(zhuǎn)按照鏟車(chē)底盤(pán)坐標(biāo)系的坐標(biāo)軸進(jìn)行外旋旋轉(zhuǎn)，外旋旋轉(zhuǎn)矩陣是左乘矩陣，按照X?Y?Z的順序進(jìn)行旋轉(zhuǎn)，得到的旋轉(zhuǎn)矩陣是 ,通過(guò)主控系統(tǒng)發(fā)送的歐拉角的角度值，計(jì)算出對(duì)應(yīng)的旋轉(zhuǎn)矩陣。[0124] 根據(jù)激光雷達(dá)在礦鏟上的安裝位置，計(jì)算出激光雷達(dá)坐標(biāo)系相對(duì)于鏟車(chē)坐標(biāo)系的平移矩陣。通過(guò)測(cè)量安裝位置激光雷達(dá)原點(diǎn)到鏟車(chē)坐標(biāo)系原點(diǎn)的三維坐標(biāo)x,y,z，得到激光雷達(dá)與鏟車(chē)坐標(biāo)系的平移矩陣為：[0125] (14)。[0126] 根據(jù)所述旋轉(zhuǎn)矩陣和平移矩陣，得到鏟車(chē)坐標(biāo)系下點(diǎn)的坐標(biāo)( , , )與激光雷達(dá)坐標(biāo)系下點(diǎn)的坐標(biāo)( , , )的轉(zhuǎn)換關(guān)系為：[0127] (15)。[0128] 請(qǐng)參閱圖6，根據(jù)所述轉(zhuǎn)換關(guān)系，將所述物料面的點(diǎn)云數(shù)據(jù)中每一個(gè)坐標(biāo)點(diǎn)轉(zhuǎn)換為在鏟車(chē)坐標(biāo)系下的坐標(biāo)位置。[0129] S104，根據(jù)物料面的點(diǎn)云數(shù)據(jù)中的坐標(biāo)點(diǎn)在鏟車(chē)坐標(biāo)系下的坐標(biāo)位置，以及所述圖像信息，識(shí)別分割出物料面的有效物料點(diǎn)云。[0130] 獲取到的點(diǎn)云數(shù)據(jù)包括物料面、地面以及干擾點(diǎn)的信息，為了確保發(fā)送給主控系統(tǒng)的點(diǎn)云位置信息的精準(zhǔn)性需要將有效物料信息從圖像以及點(diǎn)云中分割出來(lái)。[0131] 對(duì)物料面點(diǎn)云進(jìn)行下采樣。綜合考慮到點(diǎn)云處理的時(shí)間以及需要發(fā)送的物料點(diǎn)數(shù)目限制，首先需要對(duì)點(diǎn)云進(jìn)行濾波以降低點(diǎn)云的點(diǎn)數(shù)，提高處理的速度。同時(shí)為了盡可能的保留點(diǎn)云原始的位置坐標(biāo)，使用均勻采樣濾波。均勻采樣濾波構(gòu)建指定半徑球體對(duì)點(diǎn)云進(jìn)行下采樣濾波，將每一個(gè)球內(nèi)距離球體中心最近的點(diǎn)作為下采樣的點(diǎn)，這樣在減少點(diǎn)云數(shù)目的同時(shí)不改變保留點(diǎn)的原始位置信息，精確性相較于其他濾波方法要好。[0132] 去除點(diǎn)云中的干擾點(diǎn)。濾波后的物料面點(diǎn)云存在許多的雜點(diǎn)，倘若發(fā)送給主控系統(tǒng)會(huì)對(duì)路徑規(guī)劃造成影響。所以需要對(duì)點(diǎn)云干擾點(diǎn)的去除，來(lái)去除稀疏離群點(diǎn)。離群點(diǎn)去除算法的主要步驟為：計(jì)算點(diǎn)云中每一個(gè)點(diǎn)與其鄰近的點(diǎn)的平均距離，假設(shè)得到的結(jié)果符合高斯分布，形狀由均值和標(biāo)準(zhǔn)差決定，對(duì)于平均距離在標(biāo)準(zhǔn)范圍之外的點(diǎn)定義為離群點(diǎn)并予以去除。[0133] 去除點(diǎn)云中的地面點(diǎn)云。由于地面點(diǎn)云較為平緩且位于同一平面上，可以通過(guò)擬合出點(diǎn)云中的最大平面后予以去除濾掉地面。擬合地面平面點(diǎn)云的方法是隨機(jī)采樣一致性算法（RANSAC）。首先在物料面云中隨機(jī)選取三個(gè)不共線的點(diǎn)，計(jì)算這三個(gè)點(diǎn)所在平面的平面方程 ；計(jì)算點(diǎn)云中所有點(diǎn)到該平面的距離 ，設(shè)定距離閾值 ，對(duì)于距離 < 的點(diǎn)將其視為模型的內(nèi)點(diǎn)，否則視為模

型外點(diǎn)，記錄該模型的的內(nèi)點(diǎn)個(gè)數(shù)；每次迭代末尾都會(huì)根據(jù)期望的誤差率、最佳內(nèi)點(diǎn)個(gè)數(shù)、總樣本個(gè)數(shù)、當(dāng)前迭代次數(shù)計(jì)算一個(gè)迭代結(jié)束評(píng)判因子，根據(jù)次決定是否停止迭代，重復(fù)上述步驟直到達(dá)到設(shè)定迭代次數(shù)，將內(nèi)點(diǎn)數(shù)目最多的平面模型視為地面，記錄該部分點(diǎn)云的索引將該部分的點(diǎn)云進(jìn)行刪除也就去除了地面。

[0134] 在實(shí)際生產(chǎn)前利用安裝在電鏟上的工業(yè)攝像頭采集現(xiàn)場(chǎng)的物料面圖像數(shù)據(jù)，利用多邊形標(biāo)注框框出對(duì)物料面，使用mmsegmentation框架對(duì)已經(jīng)標(biāo)注好的物料面圖像數(shù)據(jù)進(jìn)行訓(xùn)練，并且生成分割模型；通過(guò)對(duì)分割模型輸入現(xiàn)場(chǎng)的物料面圖像數(shù)據(jù)，可以得到結(jié)果掩膜圖像，其中物料面和背景的像素值不相同；利用閾值分割以及輪廓檢測(cè)得到物料面的圖像位置信息。[0135] 分割獲取最終的物料點(diǎn)云。在之前中已經(jīng)通過(guò)圖像獲取到了大概的物料面位置信息，然而位置的精度仍然不夠，為了獲取更為精確的坐標(biāo)信息，利用點(diǎn)云圖像融合原理，將點(diǎn)云信息通過(guò)配準(zhǔn)迭代映射到圖像上，通過(guò)在圖像分割的物料面區(qū)域中進(jìn)一步的分割點(diǎn)云得到精確的物料面位置信息。[0136] 由于實(shí)際的安裝以及點(diǎn)云獲取的原因仍然存在一些除了地面點(diǎn)云以及離散點(diǎn)以外的點(diǎn)云，這些點(diǎn)云較為稠密成團(tuán)通過(guò)濾波的方式較難對(duì)其進(jìn)行去除，所以采用歐式聚類(lèi)分割的方式分割出簇群最大的物料點(diǎn)云。[0137] 首先在點(diǎn)云中隨機(jī)選取種子點(diǎn)，利用k?d樹(shù)對(duì)種子點(diǎn)半徑r范圍內(nèi)進(jìn)行搜索，如果在這個(gè)范圍內(nèi)存在點(diǎn)，則將這些點(diǎn)與種子點(diǎn)歸為同一聚類(lèi)簇；在聚類(lèi)簇中選取新的種子點(diǎn)，繼續(xù)執(zhí)行上一步中的半徑內(nèi)搜索過(guò)程，直到聚類(lèi)簇中的點(diǎn)數(shù)不再增加，則該聚類(lèi)簇聚類(lèi)結(jié)束。通過(guò)算法的輸入?yún)?shù)設(shè)置聚類(lèi)的點(diǎn)數(shù)范圍，即每個(gè)聚類(lèi)所限制的最大最小點(diǎn)數(shù)。若聚類(lèi)簇點(diǎn)數(shù)在閾值范圍內(nèi)，則保留該聚類(lèi)結(jié)果，否則予以去除；在剩余的點(diǎn)云中再次選擇新的種子點(diǎn)，繼續(xù)執(zhí)行以上步驟，直到遍歷完點(diǎn)云中的所有的點(diǎn)。這時(shí)通過(guò)多次迭代已保存了多個(gè)符合點(diǎn)云點(diǎn)數(shù)閾值的聚類(lèi)簇，從中挑選出點(diǎn)數(shù)最多的聚類(lèi)，即為需要的最終物料點(diǎn)云。[0138] S105，將所述有效物料點(diǎn)云發(fā)送至礦鏟主控系統(tǒng)。[0139] 物料點(diǎn)云的點(diǎn)的位置信息發(fā)送給礦鏟主控系統(tǒng)以用于礦鏟主控系統(tǒng)后續(xù)做路徑規(guī)劃。[0140] 請(qǐng)參閱圖7，本發(fā)明提供一種基于融合感知的礦用電鏟物料面識(shí)別裝置，包括：[0141] 獲取單元71，用于獲取物料面的點(diǎn)云數(shù)據(jù)和圖像信息；其中，所述點(diǎn)云數(shù)據(jù)由安裝在礦鏟上的激光雷達(dá)采集，所述圖像信息由安裝在礦鏟上的攝像頭采集。[0142] 接收單元72，用于接收礦鏟主控系統(tǒng)發(fā)送的礦鏟狀態(tài)的歐拉角信息。[0143] 轉(zhuǎn)換單元73，用于根據(jù)激光雷達(dá)在礦鏟上的安裝位置以及所述歐拉角信息，將所述物料面的點(diǎn)云數(shù)據(jù)中的坐標(biāo)點(diǎn)轉(zhuǎn)換為在鏟車(chē)坐標(biāo)系下的坐標(biāo)位置。[0144] 識(shí)別單元74，用于根據(jù)物料面的點(diǎn)云數(shù)據(jù)中的坐標(biāo)點(diǎn)在鏟車(chē)坐標(biāo)系下的坐標(biāo)位置，以及所述圖像信息，識(shí)別分割出物料面的有效物料點(diǎn)云。[0145] 發(fā)送單元75，用于將所述有效物料點(diǎn)云發(fā)送至礦鏟主控系統(tǒng)。[0146] 請(qǐng)參閱圖8，本發(fā)明提供一種基于融合感知的礦用電鏟物料面識(shí)別系統(tǒng)，包括：激光雷達(dá)與圖像融合感知裝置81、礦鏟主控系統(tǒng)82以及處理器83；所述激光雷達(dá)與圖像融合感知裝置81內(nèi)設(shè)置有激光雷達(dá)84和攝像頭85，所述激光雷達(dá)與圖像融合感知裝置81設(shè)置在礦鏟86上；所述激光雷達(dá)84、攝像頭85與所述處理器83通信連接，所述處理器83與所述礦鏟主控系統(tǒng)82通信連接。[0147] 所述激光雷達(dá)與圖像融合感知裝置81，用于采用物料面的點(diǎn)云數(shù)據(jù)和圖像信息。[0148] 所述處理器83，用于接收礦鏟主控系統(tǒng)發(fā)送的礦鏟狀態(tài)的歐拉角信息；根據(jù)激光雷達(dá)在礦鏟上的安裝位置以及所述歐拉角信息，將所述物料面的點(diǎn)云數(shù)據(jù)中的坐標(biāo)點(diǎn)轉(zhuǎn)換為在鏟車(chē)坐標(biāo)系下的坐標(biāo)位置；根據(jù)物料面的點(diǎn)云數(shù)據(jù)中的坐標(biāo)點(diǎn)在鏟車(chē)坐標(biāo)系下的坐標(biāo)位置，以及所述圖像信息，識(shí)別分割出物料面的有效物料點(diǎn)云；將所述有效物料點(diǎn)云發(fā)送至礦鏟主控系統(tǒng)。[0149] 所述礦鏟主控系統(tǒng)82，用于向處理器發(fā)送掃描指令、礦鏟狀態(tài)的歐拉角信息，以及接收處理器發(fā)送的有效物料點(diǎn)云。[0150] 需要注意的是，這里所使用的術(shù)語(yǔ)僅是為了描述具體實(shí)施方式，而非意圖限制根據(jù)本申請(qǐng)的示例性實(shí)施方式。如在這里所使用的，除非上下文另外明確指出，否則單數(shù)形式也意圖包括復(fù)數(shù)形式，此外，還應(yīng)當(dāng)理解的是，當(dāng)在本說(shuō)明書(shū)中使用術(shù)語(yǔ)“包含”和/或“包括”時(shí)，其指明存在特征、步驟、操作、器件、組件和/或它們的組合。[0151] 需要說(shuō)明的是，本申請(qǐng)的說(shuō)明書(shū)和權(quán)利要求書(shū)及上述附圖中的術(shù)語(yǔ)“第一”、“第二”等是用于區(qū)別類(lèi)似的對(duì)象，而不必用于描述特定的順序或先后次序。應(yīng)該理解這樣使用的數(shù)據(jù)在適當(dāng)情況下可以互換，以便這里描述的本申請(qǐng)的實(shí)施方式例如能夠以除了在這里圖示或描述的那些以外的順序?qū)嵤?。[0152] 以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō)，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。