權(quán)利要求書: 1.一種用于鉆機的狀態(tài)檢測方法,包括:
利用設(shè)置在鉆機的上車(2)上的圖像采集裝置(10)采集至少包含鉆機鉆挖的孔洞(9)、鉆機的鉆頭(8)的圖像;
從所述圖像中至少識別出孔洞(9)和鉆頭(8),并且確定孔洞(9)和鉆頭(8)上的關(guān)鍵點的位置信息;
利用孔洞(9)上的關(guān)鍵點的位置信息確定孔洞(9)位置,利用鉆頭(8)上的關(guān)鍵點的位置信息確定鉆頭(8)的位姿;以及在表達(dá)坐標(biāo)系中表達(dá)孔洞(9)的位置信息和鉆頭(8)的位姿信息。
2.如權(quán)利要求1所述的狀態(tài)檢測方法,其中,所述表達(dá)坐標(biāo)系為:對孔坐標(biāo)系,其坐標(biāo)原點設(shè)置在鉆機上,優(yōu)選位于上車(2)的回轉(zhuǎn)中心軸上,例如位于上車(2)與鉆機的下車(1)之間交界且與上車(2)的回轉(zhuǎn)中心軸垂直的平面內(nèi),對孔坐標(biāo)系的一個軸與孔洞(9)的孔洞中心軸(90)垂直相交;或者整車坐標(biāo)系,其坐標(biāo)原點設(shè)置在鉆機上,優(yōu)選位于上車(2)的回轉(zhuǎn)中心軸上,例如位于上車(2)與鉆機的下車(1)之間交界且與上車(2)的回轉(zhuǎn)中心軸垂直的平面內(nèi),整車坐標(biāo)系的原點可以與對孔坐標(biāo)系的坐標(biāo)原點重合,整車坐標(biāo)系的一個軸沿上車(2)的回轉(zhuǎn)中心軸。
3.如權(quán)利要求1或2所述的狀態(tài)檢測方法,其中,在上車坐標(biāo)系中利用孔洞(9)上的關(guān)鍵點在上車坐標(biāo)系中的上車坐標(biāo)確定孔洞(9)的位置信息,利用鉆頭(8)上的關(guān)鍵點在上車坐標(biāo)系中的上車坐標(biāo)確定鉆頭(8)的位姿信息;并且通過上車坐標(biāo)系與表達(dá)坐標(biāo)系之間的轉(zhuǎn)換關(guān)系,將上車坐標(biāo)系中的孔洞(9)的位置信息和鉆頭(8)的位姿信息轉(zhuǎn)換成表達(dá)坐標(biāo)系中的孔洞(9)的位置信息和鉆頭(8)的位姿信息;
其中,所述上車坐標(biāo)系的坐標(biāo)原點設(shè)置在鉆機上,優(yōu)選位于上車(2)的回轉(zhuǎn)中心軸上,例如位于上車(2)與鉆機的下車(1)之間交界且與上車(2)的回轉(zhuǎn)中心軸垂直的平面內(nèi),上車坐標(biāo)系的原點可以與對孔坐標(biāo)系的坐標(biāo)原點和/或整車坐標(biāo)系的原點重合,上車坐標(biāo)系的一個軸沿上車(2)的回轉(zhuǎn)中心軸。
4.如權(quán)利要求3所述的狀態(tài)檢測方法,其中,所述上車坐標(biāo)系與對孔坐標(biāo)系之間的轉(zhuǎn)換關(guān)系基于下述信息確定:基于孔洞(9)或其內(nèi)護筒上端的孔口中心點(95)在上車坐標(biāo)系中的上車坐標(biāo);和/或基于上車回轉(zhuǎn)馬達(dá)的轉(zhuǎn)速傳感器的檢測信息;和/或基于上車的角度編碼器的檢測信息。
5.如權(quán)利要求3所述的狀態(tài)檢測方法,其中,通過下述方式確定所述上車坐標(biāo)系與對孔坐標(biāo)系之間的轉(zhuǎn)換關(guān)系:確定動力頭(7)中被鉆桿(5)穿過的孔的中心線上的參考點(78)在一個參考平面中的映射點(88),所述參考平面與鉆頭中心軸(80)垂直,并且孔洞(9)或其內(nèi)護筒上端的孔口中心點(95)位于所述參考平面內(nèi);
基于所述映射點(88)與所述孔口中心點(95)的位置差異確定所述上車坐標(biāo)系與對孔坐標(biāo)系之間的轉(zhuǎn)換關(guān)系。
6.如權(quán)利要求1?5中任一項所述的狀態(tài)檢測方法,其中,所述孔洞(9)上的關(guān)鍵點為孔洞(9)或其內(nèi)護筒的上邊緣上的至少三個點,所述孔洞(9)位置信息為孔洞(9)或其內(nèi)護筒上端的孔口中心點(95)位置。
7.如權(quán)利要求1?6中任一項所述的狀態(tài)檢測方法,其中,所述鉆頭(8)的位姿信息至少包括:鉆頭(8)上一個、優(yōu)選至少兩個中心點的位置,以及鉆頭中心軸(80)的指向。
8.如權(quán)利要求1?7中任一項所述的狀態(tài)檢測方法,其中,圖像采集裝置(10)采集的圖像中還包含鉆頭關(guān)聯(lián)部件;并且所述狀態(tài)檢測方法還包括:從所述圖像中識別出鉆頭關(guān)聯(lián)部件,并且確定鉆頭關(guān)聯(lián)部件上的關(guān)鍵點的位置信息;
利用鉆頭關(guān)聯(lián)部件上的關(guān)鍵點的位置信息確定鉆頭關(guān)聯(lián)部件的位姿信息;以及在所述表達(dá)坐標(biāo)系中表達(dá)鉆頭關(guān)聯(lián)部件的位姿信息;
其中,所述鉆頭關(guān)聯(lián)部件包括下述中的一個或多個:
動力頭(7);
桅桿(3),尤其是桅桿(3)的下部;
鉆桿(5)。
9.如權(quán)利要求1?8中任一項所述的狀態(tài)檢測方法,其中,還包括基于鉆機主卷揚馬達(dá)的轉(zhuǎn)速傳感器的檢測信息驗證或修正鉆頭(8)的位置信息。
10.如權(quán)利要求1?9中任一項所述的狀態(tài)檢測方法,其中,還包括處理所述圖像以獲取環(huán)境稠密地圖;
將所述環(huán)境稠密地圖在所述表達(dá)坐標(biāo)系中表達(dá)。
11.如權(quán)利要求1?10中任一項所述的狀態(tài)檢測方法,其中,還包括基于所述圖像確定圖像采集裝置(10)的位姿;
將所述圖像采集裝置(10)的位姿在所述表達(dá)坐標(biāo)系中表達(dá)。
12.如權(quán)利要求1?11中任一項所述的狀態(tài)檢測方法,其中,所述圖像采集裝置(10)包括下述中的一個或多個:單目攝像頭;
雙目攝像頭;
RGB?D攝像頭;
激光雷達(dá);
毫秒波雷達(dá)。
13.一種用于鉆機的控制單元,配置成執(zhí)行如權(quán)利要求1?12中任一項所述的狀態(tài)檢測方法。
14.一種鉆機,包括:
設(shè)置在鉆機的上車(2)上的圖像采集裝置(10),配置成采集至少包含鉆機鉆挖的孔洞(9)、鉆機的鉆頭(8)的圖像;以及如權(quán)利要求13所述的控制單元,配置成基于圖像采集裝置(10)采集的圖像執(zhí)行如權(quán)利要求1?12中任一項所述的狀態(tài)檢測方法。
15.一種機器可讀存儲介質(zhì),其存儲有可執(zhí)行指令,所述指令當(dāng)被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1?12中任一項所述的狀態(tài)檢測方法。
說明書: 用于鉆機的狀態(tài)檢測方法和控制單元技術(shù)領(lǐng)域[0001] 本申請涉及一種用于鉆機的狀態(tài)檢測(監(jiān)控)方案,能夠至少提供有關(guān)鉆頭的位姿信息。背景技術(shù)[0002] 鉆機是一種執(zhí)行鉆孔作業(yè)的施工機械。鉆孔作業(yè)的環(huán)境一般比較惡劣,機手經(jīng)常要承受高噪音、強震動、強日光等等。為了鉆成一個孔洞,鉆機通常要在一個固定的工作位置操作很長時間,并且機手通常要長時間地重復(fù)執(zhí)行循環(huán)動作,諸如下鉆、鉆進、提鉆、甩土等。為了確保鉆孔精度,需要在每次動作中都精確地檢測和控制鉆頭的位姿。此外,為了實現(xiàn)重復(fù)執(zhí)行的循環(huán)動作自動化,需要自動檢測確定桅桿的位姿,動力頭的位姿,解鎖壓桿的位置。[0003] 現(xiàn)有技術(shù)中,主要利用鉆機的主卷揚馬達(dá)相關(guān)的轉(zhuǎn)速傳感器的信息來確定鉆頭高度。以這種間接方式確定鉆頭高度的方法存在一些缺點。首先,需要頻繁標(biāo)定零位。其次,會有累計誤差。[0004] 另一方面,關(guān)于鉆頭中心軸相對于孔洞中心軸的位置,現(xiàn)有技術(shù)中的一種解決方法是使用上車回轉(zhuǎn)相關(guān)的旋轉(zhuǎn)編碼器的信息來確定。由于基于旋轉(zhuǎn)編碼器信息只能測出上車回轉(zhuǎn)位置,而鉆頭在與鉆頭中心軸垂直的平面中還有其它方向的運動。采用這種方法,必須先確定鉆頭中心軸與孔洞中心軸重合時的旋轉(zhuǎn)編碼器位置(即零位)。如果鉆機在工作中有非操作的移動,則鉆頭中心軸相對于孔洞中心軸的位置就不可知了。如果采用上車回轉(zhuǎn)馬達(dá)相關(guān)的轉(zhuǎn)速傳感器的信息來確定鉆頭中心軸相對于孔洞中心軸的位置,那么除了上述問題,還會產(chǎn)生累計誤差。發(fā)明內(nèi)容[0005] 本申請的目的是提供一種用于鉆機的狀態(tài)檢測方案,能夠解決現(xiàn)有技術(shù)中存在的前述問題中的至少一些問題。[0006] 為此,本申請在其一個方面提供了一種用于鉆機的狀態(tài)檢測(或稱監(jiān)控)方法,其包括:[0007] 利用設(shè)置在鉆機的上車上的圖像采集裝置采集至少包含鉆機鉆挖的孔洞、鉆機的鉆頭的圖像;[0008] 從所述圖像中至少識別出孔洞和鉆頭,并且確定孔洞和鉆頭上的關(guān)鍵點的位置信息;[0009] 利用孔洞上的關(guān)鍵點的位置信息確定孔洞位置,利用鉆頭上的關(guān)鍵點的位置信息確定鉆頭的位姿;以及[0010] 在表達(dá)坐標(biāo)系中表達(dá)孔洞的位置信息和鉆頭的位姿信息。[0011] 在一種實施方式中,所述表達(dá)坐標(biāo)系為:[0012] 對孔坐標(biāo)系,其坐標(biāo)原點設(shè)置在鉆機上,優(yōu)選位于上車的回轉(zhuǎn)中心軸上,例如位于上車與鉆機的下車之間交界且與上車的回轉(zhuǎn)中心軸垂直的平面內(nèi),對孔坐標(biāo)系的一個軸與孔洞的孔洞中心軸垂直相交。[0013] 在一種實施方式中,所述表達(dá)坐標(biāo)系為:[0014] 整車坐標(biāo)系,其坐標(biāo)原點設(shè)置在鉆機上,優(yōu)選位于上車的回轉(zhuǎn)中心軸上,例如位于上車與鉆機的下車之間交界且與上車的回轉(zhuǎn)中心軸垂直的平面內(nèi),整車坐標(biāo)系的原點可以與對孔坐標(biāo)系的坐標(biāo)原點重合,整車坐標(biāo)系的一個軸沿上車的回轉(zhuǎn)中心軸。[0015] 在一種實施方式中,在上車坐標(biāo)系中利用孔洞上的關(guān)鍵點在上車坐標(biāo)系中的上車坐標(biāo)確定孔洞的位置信息,利用鉆頭上的關(guān)鍵點在上車坐標(biāo)系中的上車坐標(biāo)確定鉆頭的位姿信息;并且[0016] 通過上車坐標(biāo)系與表達(dá)坐標(biāo)系之間的轉(zhuǎn)換關(guān)系,將上車坐標(biāo)系中的孔洞的位置信息和鉆頭的位姿信息轉(zhuǎn)換成表達(dá)坐標(biāo)系中的孔洞的位置信息和鉆頭的位姿信息;[0017] 其中,所述上車坐標(biāo)系的坐標(biāo)原點設(shè)置在鉆機上,優(yōu)選位于上車的回轉(zhuǎn)中心軸上,例如位于上車與鉆機的下車之間交界且與上車的回轉(zhuǎn)中心軸垂直的平面內(nèi),上車坐標(biāo)系的原點可以與對孔坐標(biāo)系的坐標(biāo)原點和/或整車坐標(biāo)系的原點重合,上車坐標(biāo)系的一個軸沿上車的回轉(zhuǎn)中心軸。[0018] 在一種實施方式中,所述上車坐標(biāo)系與對孔坐標(biāo)系之間的轉(zhuǎn)換關(guān)系基于下述信息確定:[0019] 基于孔洞或其內(nèi)護筒上端的孔口中心點在上車坐標(biāo)系中的上車坐標(biāo);和/或[0020] 基于上車回轉(zhuǎn)馬達(dá)的轉(zhuǎn)速傳感器的檢測信息;和/或[0021] 基于上車的角度編碼器的檢測信息。[0022] 在一種實施方式中,通過下述方式確定所述上車坐標(biāo)系與對孔坐標(biāo)系之間的轉(zhuǎn)換關(guān)系:[0023] 確定動力頭中被鉆桿穿過的孔的中心線上的參考點在一個參考平面中的映射點,所述參考平面與鉆頭中心軸垂直,并且孔洞或其內(nèi)護筒上端的孔口中心點位于所述參考平面內(nèi);[0024] 基于所述映射點與所述孔口中心點的位置差異確定所述上車坐標(biāo)系與對孔坐標(biāo)系之間的轉(zhuǎn)換關(guān)系。[0025] 在一種實施方式中,所述孔洞上的關(guān)鍵點為孔洞或其內(nèi)護筒的上邊緣上的至少三個點,所述孔洞位置信息為孔洞或其內(nèi)護筒上端的孔口中心點位置。[0026] 在一種實施方式中,所述鉆頭的位姿信息至少包括:鉆頭上一個、優(yōu)選至少兩個中心點的位置,以及鉆頭中心軸的指向。[0027] 在一種實施方式中,圖像采集裝置采集的圖像中還包含鉆頭關(guān)聯(lián)部件,并且所述狀態(tài)檢測方法還包括:[0028] 從所述圖像中識別出鉆頭關(guān)聯(lián)部件,并且確定鉆頭關(guān)聯(lián)部件上的關(guān)鍵點的位置信息;[0029] 利用鉆頭關(guān)聯(lián)部件上的關(guān)鍵點的位置信息確定鉆頭關(guān)聯(lián)部件的位姿信息;以及[0030] 在表達(dá)坐標(biāo)系中表達(dá)鉆頭關(guān)聯(lián)部件的位姿信息;[0031] 其中,所述鉆頭關(guān)聯(lián)部件包括下述中的一個或多個:[0032] 動力頭;[0033] 桅桿,尤其是桅桿的下部;[0034] 鉆桿。[0035] 在一種實施方式中,所述狀態(tài)檢測方法還包括基于鉆機主卷揚馬達(dá)的轉(zhuǎn)速傳感器的檢測信息驗證或修正鉆頭的位置信息。[0036] 在一種實施方式中,所述狀態(tài)檢測方法還包括處理所述圖像以獲取環(huán)境稠密地圖;[0037] 將所述環(huán)境稠密地圖在所述表達(dá)坐標(biāo)系中表達(dá)。[0038] 在一種實施方式中,所述狀態(tài)檢測方法還包括基于所述圖像確定圖像采集裝置的位姿;[0039] 將所述圖像采集裝置的位姿在所述表達(dá)坐標(biāo)系中表達(dá)。[0040] 在一種實施方式中,所述圖像采集裝置包括下述中的一個或多個:[0041] 單目攝像頭;[0042] 雙目攝像頭;[0043] RGB?D攝像頭;[0044] 激光雷達(dá);[0045] 毫秒波雷達(dá)。[0046] 本申請還提供了一種用于鉆機的控制單元,配置成執(zhí)行本申請的狀態(tài)檢測方法。[0047] 本申請還提供了一種鉆機(尤其是旋挖鉆機),包括:[0048] 設(shè)置在鉆機的上車上的圖像采集裝置,配置成采集至少包含鉆機鉆挖的孔洞、鉆機的鉆頭的圖像;以及[0049] 本申請的控制單元,配置成基于圖像采集裝置采集的信息執(zhí)行本申請的狀態(tài)檢測方法。[0050] 本申請還提供了一種機器可讀存儲介質(zhì),其存儲有可執(zhí)行指令,所述指令當(dāng)被處理器執(zhí)行時實現(xiàn)本申請的狀態(tài)檢測方法。[0051] 根據(jù)本申請的狀態(tài)檢測方案,能夠基于圖像采集裝置采集的信息至少確定出鉆機鉆頭的位姿信息。如此確定的鉆頭位姿精度高,能夠消除累計誤差,提高鉆孔精度。本申請基于圖像采集裝置直接感測的信息確定出來的鉆頭位姿信息,還可以被用于鉆機的其它輔助控制方案中,有助于提高鉆孔精度、效率,還有助于減輕機手的工作負(fù)擔(dān)。附圖說明[0052] 本申請的前述和其它方面將通過下面參照附圖所做的詳細(xì)介紹而被更完整地理解和了解,其中:[0053] 圖1是本申請涉及的鉆機的示意圖;[0054] 圖2?圖4展示了本申請的一種檢測方案中使用的三個坐標(biāo)系;[0055] 圖5?圖7是本申請的一種檢測方案中檢測的鉆機工作部件上的關(guān)鍵點的示意圖;[0056] 圖8是本申請的一種檢測方案中檢測的孔洞上的關(guān)鍵點的示意圖;[0057] 圖9是本申請的一種檢測方案中檢測的鉆機環(huán)境信息的示意圖;[0058] 圖10是本申請的一種檢測方案中檢測的鉆頭路徑的示意圖。具體實施方式[0059] 本申請總體上涉及用于鉆機(尤其是旋挖鉆機)的狀態(tài)檢測(或稱監(jiān)控)方案。在基本實施方式中,至少鉆機的鉆頭的位姿被檢測(監(jiān)控)。在一些進一步的實施方式中,除了鉆頭的位姿外,鉆機的環(huán)境信息也被檢測。[0060] 本申請涉及的狀態(tài)檢測方案適用于各種形式的鉆機。為了方便描述,本申請在圖1中高度概括地展示了本申請適用的一種鉆機。該鉆機主要包括:下車1,其包括行走裝置(諸如履帶等),以使得整個鉆機能夠行走;上車2,其繞回轉(zhuǎn)中心軸可回轉(zhuǎn)地安裝在下車1上;桅桿3,其由承載機構(gòu)(通常為液壓型承載機構(gòu))4可樞轉(zhuǎn)地支撐在上車2上,在鉆孔操作中通常處在豎直位置;鉆桿5,其由主卷揚系統(tǒng)的鋼絲繩6牽引而可豎直升降;動力頭7,其一端由桅桿3支撐、并且可沿桅桿3豎直移動,另一端能夠驅(qū)動鉆桿5旋轉(zhuǎn);鉆頭(鉆斗)8,其安裝在鉆桿5下端并且隨動于鉆桿5。鉆頭8用于從某個表面(例如地面,以下稱作鉆孔表面)開始向下鉆挖出孔洞,例如圖1中示意性展示了一段的孔洞9??锥?具有中心軸(以下稱作孔洞中心軸)90。孔洞中心軸90的位置和指向都是預(yù)先設(shè)定的,通常垂直于鉆孔表面,或者相對于鉆孔表面朝某個方向傾斜一預(yù)設(shè)的角度??锥?的上端的位置以中心點(以下稱作孔口中心點)95表征。需要指出,如果孔洞9中設(shè)置有護筒、并且護筒的上邊緣高于或等于鉆孔表面,則此處孔口中心點95是指護筒上邊緣的中心點。如果沒有設(shè)置護筒,或者護筒的上邊緣低于鉆孔表面,則此處孔口中心點95是指孔洞9的中心點。[0061] 鉆頭8具有中心軸(以下稱作鉆頭中心軸)80,其與鉆桿5的中心軸重合。鉆頭8能夠在動力頭7驅(qū)動鉆桿5旋轉(zhuǎn)時隨著鉆桿5旋轉(zhuǎn),并且能夠在鋼絲繩6放出或收卷而提升或下放鉆桿5時隨著鉆桿5升降。[0062] 在鉆挖具有一定深度的孔洞時,鉆機不可能通過一次動作完成,而是通常要通過反復(fù)執(zhí)行的循環(huán)動作完成。每次循環(huán)動作通常包括下鉆、鉆進、提鉆、甩土。并且已經(jīng)鉆挖的孔洞中還可能布置護筒(未示出,例如跟進式護筒)來支護孔洞周圍的土方。[0063] 在一套循環(huán)動作完成后(即鉆頭甩土完成后),需要將鉆頭8精確地重新插入孔洞9中(下鉆),即盡可能使得鉆頭中心軸80與孔洞中心軸90重合。為此,需要精確地確定鉆頭8的位姿。鉆頭8的位置通常以鉆頭8的高度表征,鉆頭8的姿勢可以用與鉆頭中心軸80重合的向量r(方向為指向或背對鉆頭8)表征。[0064] 至少是為了精確地確定鉆頭8的位姿,本申請?zhí)峁┝艘环N用于鉆機的狀態(tài)檢測方案,該方案在上車2上設(shè)置圖像采集裝置10,尤其是設(shè)置在上車2上方。該圖像采集裝置10可以相對于上車2固定,因而隨上車2相對于下車1回轉(zhuǎn)。并且該圖像采集裝置10能夠采集所面對的物體的圖像信息。本申請中,需要將圖像采集裝置10的視野設(shè)置成能夠至少覆蓋鉆機中與孔洞9的位置密切相關(guān)的工作部件,尤其是鉆頭8和動力頭7,還應(yīng)至少覆蓋桅桿3的下部。此外,圖像采集裝置10的視野還要能覆蓋孔洞9。[0065] 為了使得圖像采集裝置10具有足夠的視野,或者為了盡量避免圖像采集裝置10采集的圖像失真,可以采用兩個或更多個圖像采集裝置(如攝像頭),也可以采用一個具有大視野的圖像采集裝置(如攝像頭)?;蛘?,可以將圖像采集裝置10以能夠執(zhí)行受控動作的方式設(shè)置在上車2上。受控動作可以是沿鉆機的橫向和/或縱向和/或豎直方向移動,和/或繞橫向和/或豎直方向轉(zhuǎn)動,等等。[0066] 本申請的狀態(tài)檢測方案中,圖像采集裝置10可以采用的類型有(不限于):單目攝像頭,雙目攝像頭,RGB?D攝像頭,毫秒波雷達(dá),激光雷達(dá)(LiDAR)等等。[0067] 本申請的狀態(tài)檢測方案中,利用新增的圖像采集裝置10的采集的信息來確定有關(guān)鉆機鉆頭的位姿信息,并且還可能確定鉆機環(huán)境信息(尤其是孔洞周圍環(huán)境信息)。[0068] 本申請的狀態(tài)檢測方案中,除了使用在鉆機上新增的圖像采集裝置10采集的信息,還可以組合使用鉆機原有的傳感器的信息。本申請的狀態(tài)檢測方案中能被采用的信息源可以包括(不限于):[0069] (1)單目攝像頭;[0070] (2)單目攝像頭+(主卷揚馬達(dá)的轉(zhuǎn)速傳感器和/或上車回轉(zhuǎn)馬達(dá)的轉(zhuǎn)速傳感器);[0071] (3)雙目攝像頭;[0072] (4)雙目攝像頭+(主卷揚馬達(dá)的轉(zhuǎn)速傳感器和/或上車回轉(zhuǎn)馬達(dá)的轉(zhuǎn)速傳感器);[0073] (5)RGB?D攝像頭;[0074] (6)RGB?D攝像頭+(主卷揚馬達(dá)的轉(zhuǎn)速傳感器和/或上車回轉(zhuǎn)馬達(dá)的轉(zhuǎn)速傳感器);[0075] (7)毫秒波雷達(dá);[0076] (8)毫秒波雷達(dá)+單目攝像頭;[0077] (9)毫秒波雷達(dá)+(主卷揚馬達(dá)的轉(zhuǎn)速傳感器和/或上車回轉(zhuǎn)馬達(dá)的轉(zhuǎn)速傳感器);[0078] (10)激光雷達(dá);[0079] (11)激光雷達(dá)+(主卷揚馬達(dá)的轉(zhuǎn)速傳感器和/或上車回轉(zhuǎn)馬達(dá)的轉(zhuǎn)速傳感器);[0080] (12)單目攝像頭+毫秒波雷達(dá)+(主卷揚馬達(dá)的轉(zhuǎn)速傳感器和/或上車回轉(zhuǎn)馬達(dá)的轉(zhuǎn)速傳感器);[0081] (13)不同類型圖像采集裝置的組合,等等。[0082] 此外,基于本申請的原理,本領(lǐng)域技術(shù)人員也可以設(shè)計出利用其它新增圖像采集裝置10與鉆機原有的傳感器的組合作為本申請的狀態(tài)檢測方案中的信息源。[0083] 鉆頭8的位姿將在相對于鉆機設(shè)置的一個相對固定的表達(dá)坐標(biāo)系中表達(dá)。下面討論為實施本申請的方案所設(shè)置的幾個坐標(biāo)系。[0084] 首先,在下車2上選取一個整車坐標(biāo)系O?XYZ。整車坐標(biāo)系為笛卡爾坐標(biāo)系。如圖1所示,坐標(biāo)原點O選取在上車2的回轉(zhuǎn)中心軸上,例如選取在上車2與下車1之間交界且與上車2的回轉(zhuǎn)中心軸垂直的平面(以下稱作交界平面)內(nèi),即上車2的回轉(zhuǎn)中心軸與該交界平面的交點為整車坐標(biāo)系的原點O。當(dāng)然,整車坐標(biāo)系的原點也可以選取在上車2的回轉(zhuǎn)中心軸上的其它位置處。[0085] 整車坐標(biāo)系的X軸與上車2的回轉(zhuǎn)中心軸重合,可以如圖1中所示指向上方,但也可以指向下方。整車坐標(biāo)系的Z軸沿鉆機縱向,可以如圖1所示指向下車1的正前方,但也可以指向下車1的正后方。整車坐標(biāo)系的Y軸在圖1中未示出,但可以理解Y軸沿鉆機橫向,方向可以遵循笛卡爾坐標(biāo)系的右手定則。當(dāng)然,整車坐標(biāo)系的各軸可以選擇為其它方向、原點可以選擇為其它位置。[0086] 接下來,參看圖2,建立上車2的坐標(biāo)系,以下稱作上車坐標(biāo)系。上車坐標(biāo)系為笛卡爾坐標(biāo)系,坐標(biāo)原點與整車坐標(biāo)系的原點O相同,上車坐標(biāo)系以O(shè)?XuYuZu表示。Xu軸與整車坐標(biāo)系的X軸重合,Zu軸沿上車2的縱向,可以如圖2所示指向上車2的正前方,但也可以指向上車2的正后方。上車坐標(biāo)系的Yu軸在圖2中未示出,但可以理解Yu軸沿上車2的橫向,方向可以遵循笛卡爾坐標(biāo)系的右手定則。上車坐標(biāo)系相對于整車坐標(biāo)系只存在繞回轉(zhuǎn)中心軸的轉(zhuǎn)動運動。令上車坐標(biāo)系相對于整車坐標(biāo)系繞上車回轉(zhuǎn)中心軸的轉(zhuǎn)角為αu。當(dāng)然,上車坐標(biāo)系的各軸可以選擇為其它方向、原點可以選擇為其它位置。[0087] 接下來,參看圖3,建立對孔坐標(biāo)系,對孔坐標(biāo)系為笛卡爾坐標(biāo)系,坐標(biāo)原點與整車坐標(biāo)系的原點O相同,對孔坐標(biāo)系以O(shè)?XhYhZh表示。Xh軸與整車坐標(biāo)系的X軸重合,Zh軸在從原點O向孔洞中心軸90所作的垂線,方向可以從原點O指向孔洞中心軸90,或者從孔洞中心軸90指向原點O。對孔坐標(biāo)系的Yh軸在圖3中未示出,但可以由Xh軸和Zh軸確定,方向可以遵循笛卡爾坐標(biāo)系的右手定則。當(dāng)然,對孔坐標(biāo)系的各軸可以選擇為其它方向、原點可以選擇為其它位置。
[0088] 上車坐標(biāo)系相對于對孔坐標(biāo)系只存在繞回轉(zhuǎn)中心軸的轉(zhuǎn)動運動。令上車坐標(biāo)系相對于對孔坐標(biāo)系繞上車回轉(zhuǎn)中心軸的轉(zhuǎn)角為αh。[0089] 對孔坐標(biāo)系與整車坐標(biāo)系之間也僅存在繞上車回轉(zhuǎn)中心軸的轉(zhuǎn)動運動,對孔坐標(biāo)系相對于整車坐標(biāo)系繞上車回轉(zhuǎn)中心軸的轉(zhuǎn)角可以通過前述轉(zhuǎn)角αu和αh計算出來。[0090] 接下來,假定圖像采集裝置10為單目攝像頭,如圖4所示,建立攝像頭坐標(biāo)系。攝像頭坐標(biāo)系以O(shè)c?XcYcZc表示。攝像頭坐標(biāo)系的原點Oc為攝像頭的光心,Zc軸沿攝像頭光軸,Xc軸和Yc軸分別與攝像頭的圖像像素坐標(biāo)系(未示出)的u軸和v軸平行。[0091] 需要指出,如果采用其它形式的圖像采集裝置10,則本申請中提到的攝像頭坐標(biāo)系可以被相應(yīng)的圖像采集裝置坐標(biāo)系替換。[0092] 根據(jù)計算機圖像處理領(lǐng)域的常規(guī)算法,攝像頭的圖像像素坐標(biāo)系與上車坐坐標(biāo)系之間的轉(zhuǎn)換關(guān)系(通常以內(nèi)參矩陣和外參矩陣的組合表示)是確定的,其中內(nèi)參矩陣表示攝像頭的圖像像素坐標(biāo)系與攝像頭坐標(biāo)系之間的轉(zhuǎn)換關(guān)系,外參矩陣表示攝像頭坐標(biāo)系和上車坐標(biāo)系之間的轉(zhuǎn)換關(guān)系。此外,攝像頭圖像的畸變校正也可以通過計算機圖像處理領(lǐng)域的常規(guī)算法(諸如利用畸變矩陣等)實現(xiàn)。[0093] 此外,根據(jù)空間運動學(xué)或空間機構(gòu)學(xué)領(lǐng)域的常規(guī)算法,各個坐標(biāo)系之間的轉(zhuǎn)換關(guān)系,諸如攝像頭坐標(biāo)系與上車坐標(biāo)系之間、上車坐標(biāo)系與整車坐標(biāo)系之間、對孔坐標(biāo)系與整車坐標(biāo)系之間、對孔坐標(biāo)系與上車坐標(biāo)系之間的轉(zhuǎn)換關(guān)系,都有明確的表達(dá)形式,通常為轉(zhuǎn)換矩陣的形式。在這一點上需要指出,不論攝像頭在上車2上是固定安裝的還是可運動地安裝的,由于攝像頭在成像時相對于上車2的位姿是確定的,因此攝像頭坐標(biāo)系與上車坐標(biāo)系之間的轉(zhuǎn)換關(guān)系都是確定的。對于其它形式的圖像采集裝置來說,圖像采集裝置坐標(biāo)系與上車坐標(biāo)系之間的轉(zhuǎn)換關(guān)系也是確定的。[0094] 為了對攝像頭拍攝的圖像進行處理,在攝像頭需要采集的工作部件以及孔洞9(或護筒)上設(shè)定一些關(guān)鍵點。這些關(guān)鍵點將在圖像處理中被用到。工作部件上的關(guān)鍵點可以通過深度學(xué)習(xí)確定,應(yīng)當(dāng)選取為容易識別且能夠表征部件幾何特征的點,通常是部件表面上的點。[0095] 對于桅桿3,考慮到攝像頭或其它圖像采集裝置的視野范圍,可能僅需采集其下部的圖像即可。為此,如圖5中示意性展示,在桅桿3的下部選取突出部位作為示例性的桅桿關(guān)鍵點31、32、33、34。當(dāng)然,也可以選取桅桿3下部上的其它明顯的點作為桅桿關(guān)鍵點。[0096] 對于動力頭7,如圖6中示意性展示,在動力頭7上選取的動力頭關(guān)鍵點可以包括靠近鉆桿5一側(cè)的關(guān)鍵點71、73,靠近桅桿3一側(cè)的關(guān)鍵點72、74,用于驅(qū)動鉆桿5的驅(qū)動部的外周上的兩個徑向相對的關(guān)鍵點75、76。驅(qū)動部的中心點77(落在鉆桿5的中心軸上)位于關(guān)鍵點75、76之間。當(dāng)然,也可以選取動力頭7上的其它明顯的點作為動力頭關(guān)鍵點。此外,選取動力頭7中被鉆桿5穿過的孔的中心線上的某個點作為參考點,例如圖6中所示的參考點78。參考點78位于鉆桿5的中心軸上,選取于任何適宜位置上,并且參考點78與動力頭7上其它關(guān)鍵點之間的幾何位置關(guān)系是已知的。參考點78在一個包含孔口中心點95并且與鉆頭中心軸80垂直的參考平面中的垂足為映射點88(示于圖1),也即鉆頭中心軸80在所述參考平面中的映射點。所述參考平面可能與鉆孔平面重合,也可能不重合。
[0097] 對于鉆頭8,如圖7中示意性展示,在鉆頭8上選取的鉆頭關(guān)鍵點可以包括鉆頭8本體上邊緣外周上的兩個徑向相對的關(guān)鍵點81、82,鉆頭8本體下邊緣外周上的兩個徑向相對的關(guān)鍵點83、84。鉆頭8本體上部中心點85位于關(guān)鍵點81、82之間,鉆頭8本體下部中心點86位于關(guān)鍵點83、84之間。中心點85、86都落在鉆頭8的中心軸80(與鉆桿5的中心軸重合)上。用于啟閉鉆頭8的底板的作動元件(壓桿)上的特征點87也可被選用,用于判斷鉆頭8的底板的打開和關(guān)閉。當(dāng)然,也可以選取鉆頭8上的其它明顯的點作為鉆頭關(guān)鍵點。
[0098] 對于孔洞9,如圖8中示意性展示,可以選取其上邊緣上的四個均布的關(guān)鍵點91、92、93、94??卓谥行狞c95位于關(guān)鍵點91與92之間,也位于關(guān)鍵點93與94之間??梢岳斫?,如果孔洞9中設(shè)置有護筒、并且護筒的上邊緣等于或高于鉆孔表面,則此處關(guān)鍵點91與92、93與94是指護筒上邊緣上的關(guān)鍵點。如果沒有設(shè)置護筒,或者護筒的上邊緣低于鉆孔表面,則此處關(guān)鍵點91與92、93與94是指孔洞9的關(guān)鍵點。
[0099] 接下來描述本申請的基于單目攝像頭的一種示例性狀態(tài)檢測方法。[0100] 首先,攝像頭采集其視野內(nèi)的圖片,圖片中至少包含了動力頭7、鉆頭8、孔洞9、以及桅桿3的下部。[0101] 接下來,對圖片進行畸變校正。這可以通過已有的方法實現(xiàn),例如張正友標(biāo)定方法等等。[0102] 接下來,借助現(xiàn)有的圖像識別(例如圖像分割,尤其是實例分割)和關(guān)鍵點檢測技術(shù),由校正后的圖片中得到桅桿3、動力頭7、鉆頭8、孔洞9(或護筒)的圖形(例如利用掩膜技術(shù)),確定出圖形中的各關(guān)鍵點以及這些關(guān)鍵點在圖像像素坐標(biāo)系中的像素坐標(biāo)。[0103] 接下來,通過關(guān)鍵點75、76的像素坐標(biāo)計算出中心點77的像素坐標(biāo),利用關(guān)鍵點81、82的像素坐標(biāo)計算出中心點85的像素坐標(biāo),利用關(guān)鍵點83、84的像素坐標(biāo)計算出中心點
86的像素坐標(biāo)。
[0104] 接下來,利用圖像像素坐標(biāo)系與攝像頭坐標(biāo)系之間的轉(zhuǎn)換關(guān)系(內(nèi)參矩陣)、攝像頭坐標(biāo)系與上車坐標(biāo)系之間的轉(zhuǎn)換關(guān)系(外參矩陣),以及桅桿3上的關(guān)鍵點31、32、33、34、動力頭7上的關(guān)鍵點71、72、73、74、鉆頭8上的關(guān)鍵點81、82、83、84、孔洞9(或護筒)上的關(guān)鍵點91、92、93、94在上車坐標(biāo)系里的幾何約束關(guān)系,分別得到這些關(guān)鍵點和中心點在上車坐標(biāo)系里的上車坐標(biāo),尤其是點77、85、86、87、95的上車坐標(biāo)。此外,由于動力頭7上的參考點78與關(guān)鍵點71、72、73、74之間具有已知的幾何關(guān)系,因此可以由關(guān)鍵點71、72、73、74的上車坐標(biāo)精確計算出參考點78的上車坐標(biāo)。
[0105] 如本領(lǐng)域技術(shù)人員所理解,對于桅桿3、動力頭7、鉆頭8、孔洞9(或護筒)中的任意一個的圖形,利用四個關(guān)鍵點的像素坐標(biāo)以及它們之間的幾何約束關(guān)系(距離、連線之間夾角等),就能列出12個方程,其中包含12個變量。求解這12個方程就能得到12個變量的值,即這四個關(guān)鍵點在上車坐標(biāo)系里的上車坐標(biāo)(每個點在上車坐標(biāo)系的三個坐標(biāo)軸上的值)。如果采用多于4個的關(guān)鍵點,則列出的方程數(shù)量將會多于求解的變量的數(shù)量。在這種情況下,可以利用最小二乘法等優(yōu)化算法確定各關(guān)鍵點的上車坐標(biāo),使得確定出的上車坐標(biāo)值更精確。[0106] 如果某個圖形中的關(guān)鍵點之間存在特定的真實幾何關(guān)系,例如在上車坐標(biāo)系中某些點在某個方向上(例如在Xu、Yu或Zu方向上)相同的坐標(biāo)值,那么需要求解的變量的個數(shù)可能會減少。例如,在需要求解的變量的個數(shù)減少到9個的情況下,實際上僅需三個具有特定幾何關(guān)系的關(guān)鍵點的像素坐標(biāo)以及它們之間的幾何約束關(guān)系(距離、連線之間夾角等),就能列出9個方程,其中包含9個變量。求解這9個方程就能得到9個變量的值,即這三個關(guān)鍵點在上車坐標(biāo)系里的上車坐標(biāo)(每個點在上車坐標(biāo)系的三個坐標(biāo)軸上的值)。在這種情況下,仍可以采用四個、甚至更多個關(guān)鍵點,列出的方程數(shù)量將會多于求解的變量的數(shù)量。在這種情況下,也是可以利用最小二乘法等優(yōu)化算法確定各關(guān)鍵點的上車坐標(biāo),使得確定出的上車坐標(biāo)值更精確。此外,關(guān)于關(guān)鍵點的選取,希望各關(guān)鍵點之間構(gòu)成幾何約束關(guān)系,例如連線之間構(gòu)成特定的夾角(例如直角)等等。[0107] 如果孔洞9(或護筒)上邊緣是平的,則在其上邊緣上選取三個關(guān)鍵點就能計算出孔口中心點95的位置。但是采用孔洞9(或護筒)上邊緣上的四個或更多個關(guān)鍵點,可以提高計算出的孔口中心點95的精度。[0108] 通過桅桿3、動力頭7、鉆頭8上各關(guān)鍵點的上車坐標(biāo),再結(jié)合這些關(guān)鍵點與鉆桿5之間的機械結(jié)構(gòu)構(gòu)成的幾何約束關(guān)系,容易求出在上車坐標(biāo)系中鉆桿5的位置(可以用鉆桿5上的某個部位、例如鉆桿5底端與鉆頭8連接部位的位置)表征和鉆頭中心軸80的指向(以向量r表征)。例如,鉆桿5的位置(尤其是高度),可以通過鉆頭8上的關(guān)鍵點的上車坐標(biāo)與桅桿3上的關(guān)鍵點的上車坐標(biāo)之間的差異來確定。鉆頭中心軸80的指向可以通過各中心點77、
85、86或其中任意兩個中心點的上車坐標(biāo)的數(shù)值來確定。
[0109] 類似地,動力頭7的驅(qū)動部的中心點77、鉆頭8本體上的中心點85、86和特征點87、孔口中心點95在上車坐標(biāo)系中的上車坐標(biāo)也容易計算出來,其中中心點77、85、86位于鉆頭中心軸80上。[0110] 借助于孔口中心點95以及動力頭7上的參考點78的上車坐標(biāo),并且借助于參考點78、其在所述參考平面中的映射點88以及孔口中心點95之間的幾何關(guān)系(例如映射點88與參考點78之間的連線的指向與向量r相同、且映射點88與參考點78之間的連線垂直于映射點88與孔口中心點95之間的連線),可以計算出映射點88的上車坐標(biāo)。
[0111] 根據(jù)孔口中心點95在上車坐標(biāo)系中的坐標(biāo)以及孔口中心點95在對孔坐標(biāo)系中的坐標(biāo),可以確定上車坐標(biāo)系相對于對孔坐標(biāo)系繞上車回轉(zhuǎn)中心軸的轉(zhuǎn)角αh,由此確定出上車坐標(biāo)系與對孔坐標(biāo)系之間的轉(zhuǎn)換關(guān)系,通常為轉(zhuǎn)換矩陣。[0112] 利用上車坐標(biāo)系與對孔坐標(biāo)系之間的轉(zhuǎn)換關(guān)系,可以計算出上述各關(guān)鍵點、中心點、映射點88、向量r等在對孔坐標(biāo)系中的坐標(biāo)值,尤其是點77、85、86、87、95、88的對孔坐標(biāo),也即確定了各相關(guān)工作部件、尤其是鉆頭8在對孔坐標(biāo)系中的位姿信息。鉆頭8的位姿信息可以由鉆頭中心軸80的指向以及鉆頭8上某些重要點(例如中心點85、86之一或二者,點87,等等)的坐標(biāo)值表征??锥?的位置以孔口中心點95的坐標(biāo)值表征。
[0113] 各工作部件、尤其是鉆頭8在對孔坐標(biāo)系中的位姿信息,有助于實現(xiàn)鉆頭8相對于孔洞9的精確定位,并且有助于鉆機某些輔助功能、尤其是自動功能的實現(xiàn)。此外,鉆頭8上的特征點87(表示用于底板的作動元件)的位置信息(不論是在對孔坐標(biāo)系中還是上車坐標(biāo)系中)可被用于自動控制鉆頭8的底板的打開的控制邏輯中以及輔助判斷鉆頭8的底板是否打開。[0114] 由于攝像頭坐標(biāo)系與上車坐標(biāo)系之間的轉(zhuǎn)換關(guān)系是確定的,因此結(jié)合如前所述確定的上車坐標(biāo)系與對孔坐標(biāo)系之間的轉(zhuǎn)換關(guān)系,可以確定出攝像頭坐標(biāo)系與對孔坐標(biāo)系之間的轉(zhuǎn)換關(guān)系,從而可以確定攝像頭在對孔坐標(biāo)系中的位姿。[0115] 可以理解,基于空間運動學(xué)、空間機構(gòu)學(xué)的基本原理,在一個物體上的一些點的坐標(biāo)已知的情況下,求解其它一些點的坐標(biāo)或某條直線的指向,僅僅是計算上的問題;此外,某個點的坐標(biāo)或某條直線的指向在不同坐標(biāo)系之間的轉(zhuǎn)換,也僅僅是計算上的問題。因此這里不再詳細(xì)討論。[0116] 由于各坐標(biāo)系之間的轉(zhuǎn)換計算是容易實現(xiàn)的,因此,盡管前面描述了將各工作部件、孔洞9(或護筒)在對孔坐標(biāo)系中表達(dá)出來,但也容易通過坐標(biāo)系之間的轉(zhuǎn)換將這些信息在整車坐標(biāo)系、甚至上車坐標(biāo)系中表達(dá)出來。或者,也可以選取其它適宜的坐標(biāo)系作為表達(dá)坐標(biāo)系來表達(dá)感興趣部件的位置信息。[0117] 總體上而言,本申請的狀態(tài)檢測方案中,能夠基于圖像采集裝置采集的信號確定需要關(guān)注的工作部件在表達(dá)坐標(biāo)系中的位姿信息。尤其是,如前所述基于各關(guān)鍵點的信息確定鉆頭8的位姿(包括底板的作動元件上特征點87的位置)、孔洞9(或護筒)的位置,并且能夠基于桅桿關(guān)鍵點31、32、33、34或其它關(guān)鍵點確定桅桿3的位姿信息,基于動力頭7上的關(guān)鍵點71、72、73、74或其它關(guān)鍵點確定動力頭7的位姿信息。這些信息可被用于各種鉆機功能,包括鉆孔精度控制、自動控制功能等等。[0118] 在基于單目攝像頭的狀態(tài)檢測方案中,進一步地,基于畸變校正過的圖片,利用現(xiàn)有的計算機視覺算法、例如Slam算法,可以獲取攝像頭在上車坐標(biāo)系里的位姿并且構(gòu)建出鉆機環(huán)境的稠密地圖,尤其是孔洞9周圍的環(huán)境稠密地圖。借助攝像頭坐標(biāo)系與上車坐標(biāo)系之間的轉(zhuǎn)換關(guān)系,以及孔洞9的各關(guān)鍵點和中心點的上車坐標(biāo)值,可以獲得攝像頭在對孔坐標(biāo)系里的位姿(可以用于驗證或修正前面所述確定的攝像頭在對孔坐標(biāo)系中的位姿)并且構(gòu)建出對孔坐標(biāo)系中孔洞9周圍的環(huán)境稠密地圖,如圖9中示意性表示。在圖9中,鉆頭8在孔洞9之外甩土形成的土堆11在上車坐標(biāo)系中被示意性表示。土堆11上部輪廓線上標(biāo)注的各點12、13、14...對應(yīng)于鉆頭8的各次甩土位置。在圖10中,在所述參考平面中繪出了鉆頭8為甩土而從孔洞9經(jīng)過的路徑(以一段圓弧線表示),各甩土點12、13、14...位于該路徑上。借助于圖9和/或圖10,可以規(guī)劃下次甩土位置。[0119] 需要指出,關(guān)于上車坐標(biāo)系相對于對孔坐標(biāo)系繞上車回轉(zhuǎn)中心軸的轉(zhuǎn)角αh,除了上面描述的利用孔口中心點95的上車坐標(biāo)來計算的方式以外,也可以借助上車回轉(zhuǎn)馬達(dá)的轉(zhuǎn)速傳感器得到。上車回轉(zhuǎn)馬達(dá)的轉(zhuǎn)速傳感器在孔口中心點95處標(biāo)好零位。在上車2回轉(zhuǎn)了一個轉(zhuǎn)角αh后,該轉(zhuǎn)角αh可以通過上車回轉(zhuǎn)馬達(dá)的轉(zhuǎn)速傳感器測量的轉(zhuǎn)速積分得到,或者通過上車回轉(zhuǎn)馬達(dá)中的齒數(shù)累計計算出來?;蛘?,轉(zhuǎn)角αh也可以通過為上車2配備的角度編碼器直接測得。轉(zhuǎn)角αh可以采用前面通過孔口中心點95的上車坐標(biāo)計算出來的值,或是采用通過上車回轉(zhuǎn)馬達(dá)的轉(zhuǎn)速傳感器得到值,或是采用角度編碼器直接測得的值。轉(zhuǎn)角αh各個值可以相互驗證以提高精確度和可信度。[0120] 還需要指出,在基于單目攝像頭的狀態(tài)檢測方案中,如果主卷揚馬達(dá)的轉(zhuǎn)速傳感器的信號被采用,可以用來驗證或修正計算出的鉆桿5和鉆頭8的位置。[0121] 還需要指出,如有必要,上車坐標(biāo)系相對于整車坐標(biāo)系繞上車回轉(zhuǎn)中心軸的轉(zhuǎn)角αu也可以確定出來。例如,利用圖像采集裝置10采集到的下車1上某些部位的關(guān)鍵點在上車坐標(biāo)系中的上車坐標(biāo),可以計算出轉(zhuǎn)角αu?;蛘?,也可以利用上車回轉(zhuǎn)馬達(dá)的轉(zhuǎn)速傳感器、為上車2配備的角度編碼器來獲得轉(zhuǎn)角αu。如果要利用轉(zhuǎn)速傳感器來獲取αu,由于轉(zhuǎn)速傳感器的人為設(shè)定的零點是對孔坐標(biāo)系的零點,而對孔坐標(biāo)系的零點不一定是整車坐標(biāo)系的零點,兩個零點之間可能有一個需要事先測出的角度αoffset,那么αu=αoffset+αh。[0122] 在轉(zhuǎn)角αu確定出來后,上車坐標(biāo)系相對于整車坐標(biāo)系的轉(zhuǎn)換關(guān)系(通常為轉(zhuǎn)換矩陣)可被確定,接下來可以將桅桿3、動力頭7、鉆頭8、孔洞9(或護筒)以及各相關(guān)點在上車坐標(biāo)系中的坐標(biāo)值轉(zhuǎn)換成在整車坐標(biāo)系中的坐標(biāo)值,即鉆頭8、孔洞9(或護筒)的位姿可以在整車坐標(biāo)系中構(gòu)建出來。同樣,鉆機環(huán)境的稠密地圖也可以在整車坐標(biāo)系中構(gòu)建出來。[0123] 還需要指出,前面描述了的各個點在各個坐標(biāo)系中的坐標(biāo)被確定。然而,針對不同的鉆機功能,這些點中的一些可能是可以省略的,并且可能有其它點需要被添加進來。[0124] 接下來描述基于雙目攝像頭或RGB?D攝像頭的一種示例性狀態(tài)檢測(監(jiān)控)方法。[0125] 首先,攝像頭(雙目攝像頭或RGB?D攝像頭)采集其視野內(nèi)的圖片。[0126] 接下來,對圖片進行畸變校正。[0127] 接下來,借助現(xiàn)有的圖像識別(例如圖像分割,尤其是實例分割)和關(guān)鍵點檢測技術(shù),由校正后的圖片中得到桅桿3、鉆桿5、動力頭7、鉆頭8、孔洞9或護筒、地面的圖形(例如利用掩膜技術(shù)),確定出圖形中的各關(guān)鍵點以及這些關(guān)鍵點在圖像像素坐標(biāo)系中的像素坐標(biāo)。[0128] 接下來,利用一些關(guān)鍵點的像素坐標(biāo)和攝像頭景深,通過現(xiàn)有的3D重建技術(shù),得到桅桿3、鉆桿5、動力頭7、鉆頭8、孔洞9或護筒、地面以及它們上的各關(guān)鍵點的上車坐標(biāo)。[0129] 接下來,通過孔洞9或護筒上關(guān)鍵點的上車坐標(biāo),估算出孔口中心點95的上車坐標(biāo)。[0130] 接下來,通過下式兩種方式之一估算出鉆桿中心軸在上車坐標(biāo)系里的方向和定位點:[0131] (a)利用鉆桿5的邊緣輪廓的上車坐標(biāo);[0132] (b)利用動力頭8上關(guān)鍵點的上車坐標(biāo)以及關(guān)鍵點與鉆桿中心軸之間的機械(幾何)約束關(guān)系。[0133] 接下來,通過下式兩種方式之一得到各中心點77、85、86的上車坐標(biāo):[0134] (a)利用關(guān)鍵點75、76、81、82、83、84的上車坐標(biāo);[0135] (b)利用三組點(75和76)、(81和82)、(83和84)各自所在圓上分別任取的一個第三點的上車坐標(biāo)以及該第三點與鉆桿中心軸之間的機械(幾何)約束關(guān)系。[0136] 接下來,計算出鉆頭中心軸80在所述參考平面中的映射點88的上車坐標(biāo)。[0137] 根據(jù)孔口中心點95在上車坐標(biāo)系中的坐標(biāo)以及孔口中心點95在對孔坐標(biāo)系中的坐標(biāo),可以確定上車坐標(biāo)系相對于對孔坐標(biāo)系繞上車回轉(zhuǎn)中心軸的轉(zhuǎn)角αh,由此確定出上車坐標(biāo)系與對孔坐標(biāo)系之間的轉(zhuǎn)換關(guān)系,通常為轉(zhuǎn)換矩陣。[0138] 利用上車坐標(biāo)系與對孔坐標(biāo)系之間的轉(zhuǎn)換關(guān)系,可以計算出各關(guān)鍵點、中心點、映射點88、向量r等在對孔坐標(biāo)系中的坐標(biāo)值,尤其是點77、85、86、87、95、88的對孔坐標(biāo),也即確定了各相關(guān)工作部件、尤其是鉆頭8在對孔坐標(biāo)系中的位姿信息。[0139] 進一步地,基于畸變校正過的圖片,利用現(xiàn)有的計算機視覺算法、例如Slam算法,可以獲得攝像頭在上車坐標(biāo)系里的位姿并且構(gòu)建出鉆機環(huán)境的稠密地圖,并且借助上車坐標(biāo)系與對孔坐標(biāo)系之間的轉(zhuǎn)換關(guān)系,可以獲得攝像頭在對孔坐標(biāo)系里的位姿并且構(gòu)建出對孔坐標(biāo)系中孔洞9周圍的環(huán)境稠密地圖。[0140] 基于雙目攝像頭或RGB?D攝像頭的狀態(tài)檢測方案中與前面針對基于單目攝像頭的狀態(tài)檢測方案的示例性流程中相同或相似之處的描述被省略。[0141] 基于毫秒波雷達(dá)的狀態(tài)檢測方案與基于單目攝像頭的狀態(tài)檢測方案類似,這里不再重復(fù)描述。[0142] 接下來描述基于單目攝像頭組合毫秒波雷達(dá)的一種示例性狀態(tài)檢測(監(jiān)控)方法。[0143] 首先,攝像頭采集其視野內(nèi)的圖片,毫秒波雷達(dá)采集數(shù)據(jù)。[0144] 接下來,對圖片進行畸變校正。[0145] 接下來,借助現(xiàn)有的圖像識別(例如圖像分割,尤其是實例分割)和關(guān)鍵點檢測技術(shù),由校正后的圖片中得到桅桿3、鉆桿5、動力頭7、鉆頭8、孔洞9或護筒、地面的圖形(例如利用掩膜技術(shù)),確定出圖形中的各關(guān)鍵點以及這些關(guān)鍵點在圖像像素坐標(biāo)系中的像素坐標(biāo)。[0146] 接下來,利用一些關(guān)鍵點的像素坐標(biāo)和毫秒波雷達(dá)得到的景深,通過現(xiàn)有的3D重建技術(shù),得到桅桿3、鉆桿5、動力頭7、鉆頭8、孔洞9或護筒、地面以及它們上的各關(guān)鍵點的上車坐標(biāo)。[0147] 接下來,通過孔洞9或護筒上關(guān)鍵點的上車坐標(biāo),估算出孔口中心點95的上車坐標(biāo)。[0148] 接下來,通過下式兩種方式之一估算出鉆桿中心軸在上車坐標(biāo)系里的方向和定位點:[0149] (a)利用鉆桿5的邊緣輪廓的上車坐標(biāo);[0150] (b)利用動力頭8上關(guān)鍵點的上車坐標(biāo)以及關(guān)鍵點與鉆桿中心軸之間的機械(幾何)約束關(guān)系。[0151] 接下來,通過下式兩種方式之一得到各中心點77、85、86的上車坐標(biāo):[0152] (a)利用關(guān)鍵點75、76、81、82、83、84的上車坐標(biāo);[0153] (b)利用三組點(75和76)、(81和82)、(83和84)各自所在圓上分別任取的一個第三點的上車坐標(biāo)以及該第三點與鉆桿中心軸之間的機械(幾何)約束關(guān)系。[0154] 接下來,計算出鉆頭中心軸80在所述參考平面中的映射點88的上車坐標(biāo)。[0155] 根據(jù)孔口中心點95在上車坐標(biāo)系中的坐標(biāo)以及孔口中心點95在對孔坐標(biāo)系中的坐標(biāo),可以確定上車坐標(biāo)系相對于對孔坐標(biāo)系繞上車回轉(zhuǎn)中心軸的轉(zhuǎn)角αh,由此確定出上車坐標(biāo)系與對孔坐標(biāo)系之間的轉(zhuǎn)換關(guān)系,通常為轉(zhuǎn)換矩陣。[0156] 利用上車坐標(biāo)系與對孔坐標(biāo)系之間的轉(zhuǎn)換關(guān)系,可以計算出各關(guān)鍵點、中心點、映射點88、向量r等在對孔坐標(biāo)系中的坐標(biāo)值,尤其是點77、85、86、87、95、88的對孔坐標(biāo),也即確定了各相關(guān)工作部件、尤其是鉆頭8在對孔坐標(biāo)系中的位姿信息。[0157] 進一步地,基于畸變校正過的圖片,利用現(xiàn)有的計算機視覺算法、例如雙目Slam算法,可以獲得攝像頭在上車坐標(biāo)系里的位姿并且構(gòu)建出鉆機環(huán)境的稠密地圖,并且借助上車坐標(biāo)系與對孔坐標(biāo)系之間的轉(zhuǎn)換關(guān)系,可以獲得攝像頭在對孔坐標(biāo)系里的位姿并且構(gòu)建出對孔坐標(biāo)系中孔洞9周圍的環(huán)境稠密地圖。[0158] 基于單目攝像頭組合毫秒波雷達(dá)的狀態(tài)檢測方案中與前面針對基于單目攝像頭的狀態(tài)檢測方案的示例性流程中相同或相似之處的描述被省略。[0159] 接下來描述基于激光雷達(dá)的一種示例性狀態(tài)檢測(監(jiān)控)方法。需要指出,激光雷達(dá)能夠單獨得到三維點云。[0160] 首先,通過激光雷達(dá)得到三維點云。[0161] 接下來,借助現(xiàn)有的技術(shù)對三維點云進行識別(例如實例分割)和關(guān)鍵點檢測,得到桅桿3、鉆桿5、動力頭7、鉆頭8、孔洞9或護筒以及各關(guān)鍵點在上車坐標(biāo)系中的上車坐標(biāo)。[0162] 接下來,通過孔洞9或護筒上關(guān)鍵點的上車坐標(biāo),估算出孔口中心點95的上車坐標(biāo)。[0163] 接下來,通過下式兩種方式之一估算出鉆桿中心軸在上車坐標(biāo)系里的方向和定位點:[0164] (a)利用鉆桿5的邊緣輪廓的上車坐標(biāo);[0165] (b)利用動力頭8上關(guān)鍵點的上車坐標(biāo)以及關(guān)鍵點與鉆桿中心軸之間的機械(幾何)約束關(guān)系。[0166] 接下來,通過下式兩種方式之一得到各中心點77、85、86的上車坐標(biāo):[0167] (a)利用關(guān)鍵點75、76、81、82、83、84的上車坐標(biāo);[0168] (b)利用三組點(75和76)、(81和82)、(83和84)各自所在圓上分別任取的一個第三點的上車坐標(biāo)以及該第三點與鉆桿中心軸之間的機械(幾何)約束關(guān)系。[0169] 接下來,計算出鉆頭中心軸80在所述參考平面中的映射點88的上車坐標(biāo)。[0170] 根據(jù)孔口中心點95在上車坐標(biāo)系中的坐標(biāo)以及孔口中心點95在對孔坐標(biāo)系中的坐標(biāo),可以確定上車坐標(biāo)系相對于對孔坐標(biāo)系繞上車回轉(zhuǎn)中心軸的轉(zhuǎn)角αh,由此確定出上車坐標(biāo)系與對孔坐標(biāo)系之間的轉(zhuǎn)換關(guān)系,通常為轉(zhuǎn)換矩陣。[0171] 利用上車坐標(biāo)系與對孔坐標(biāo)系之間的轉(zhuǎn)換關(guān)系,可以計算出各關(guān)鍵點、中心點、映射點88、向量r等在對孔坐標(biāo)系中的坐標(biāo)值,尤其是點77、85、86、87、95、88的對孔坐標(biāo),也即確定了各相關(guān)工作部件、尤其是鉆頭8在對孔坐標(biāo)系中的位姿信息。[0172] 進一步地,基于三維點云,利用現(xiàn)有的計算機視覺算法、例如激光Slam算法,可以獲得攝像頭在上車坐標(biāo)系里的位姿并且構(gòu)建出鉆機環(huán)境的稠密地圖,并且借助上車坐標(biāo)系與對孔坐標(biāo)系之間的轉(zhuǎn)換關(guān)系,可以獲得攝像頭在對孔坐標(biāo)系里的位姿并且構(gòu)建出對孔坐標(biāo)系中孔洞9周圍的環(huán)境稠密地圖。[0173] 基于激光雷達(dá)的狀態(tài)檢測方案中與前面針對基于單目攝像頭的狀態(tài)檢測方案的示例性流程中相同或相似之處的描述被省略。[0174] 需要指出,盡管前面描述的例子中,主要利用鉆頭8和作為鉆頭關(guān)聯(lián)部件代表的動力頭7、桅桿3上的關(guān)鍵點來確定鉆頭8的姿勢,但是也可以用鉆頭8和其它鉆頭關(guān)聯(lián)部件(例如鉆桿5)上的關(guān)鍵點來確定鉆頭8的姿勢。[0175] 本申請的鉆機狀態(tài)檢測(或稱監(jiān)控)方法借助圖像采集裝置和適配的算法實時確定出的鉆頭8的位姿(尤其是中心點位置以及中心軸指向)可以在鉆機的各種控制程序(諸如軌跡規(guī)劃、實時運動控制等)中被使用,尤其是與孔口中心點位置以及孔洞中心軸指向相比較,使得鉆機再次下鉆時盡可能使得鉆頭中心點與孔口中心點重合、且鉆頭中心軸指向與孔洞中心軸指向相同(或者說鉆頭中心軸與孔洞中心軸重合)。由此可以精確地執(zhí)行各次鉆孔循環(huán)動作。本申請實時確定的鉆機其它部件的位姿也可以通過類似的方法確定并且被用于鉆機的各種控制程序、諸如軌跡控制等中。[0176] 本領(lǐng)域技術(shù)人員可以根據(jù)具體應(yīng)用場景對前面描述的狀態(tài)檢測方法的示例性流程中的細(xì)節(jié)、步驟(包括步驟的具體內(nèi)容和執(zhí)行次序)等做出各種適應(yīng)性修改。[0177] 綜合地講,本申請涉及的鉆機中包括控制單元(未示出),其接收來自指令輸入元件以及圖像采集裝置10的指令以及來自各執(zhí)行元件、控制閥和傳感器的反饋信號,控制鉆機的液壓系統(tǒng)主泵以及各執(zhí)行元件、控制閥的動作。上面描述的狀態(tài)檢測方法可以設(shè)置在該控制單元中??刂茊卧趫D像采集裝置10采集的信號執(zhí)行前面描述的狀態(tài)檢測過程。[0178] 需要指出,由于對孔坐標(biāo)系的Zh軸與孔洞中心軸90相交,因此,將鉆頭8、孔洞9(或護筒)以及其它部件的位姿、環(huán)境的稠密地圖在對孔坐標(biāo)系中表示可能更直觀。但是,如前所述,鉆頭8、孔洞9(或護筒)以及其它部件的位姿、環(huán)境的稠密地圖也可以在整車坐標(biāo)系、甚至上車坐標(biāo)系中構(gòu)建出來,這對于實現(xiàn)某些鉆機功能來說可能更加方便使用。因此,可以根據(jù)具體需要,選擇對孔坐標(biāo)系或整車坐標(biāo)系、甚至上車坐標(biāo)系作為表達(dá)上述信息的表達(dá)坐標(biāo)系。[0179] 還需要指出,雖然前面的例子中是在上車坐標(biāo)系中利用一些關(guān)鍵點的坐標(biāo)來確定出鉆頭8、孔洞9(護筒)的位姿,但是也可以在其它坐標(biāo)系(例如圖像采集裝置坐標(biāo)系、整車坐標(biāo)系、對孔坐標(biāo)系)中利用一些關(guān)鍵點的坐標(biāo)來確定出鉆頭8、孔洞9(護筒)的位姿。[0180] 本申請還提供了一種機器可讀(計算機可讀)存儲介質(zhì),其存儲有可執(zhí)行指令,所述指令當(dāng)被處理器執(zhí)行時實現(xiàn)如上所述的狀態(tài)檢測方法。[0181] 本申請還提供了一種鉆機、尤其是旋挖鉆機,其包含前面描述的狀態(tài)檢測方案以及相關(guān)的結(jié)構(gòu)。[0182] 根據(jù)本申請的狀態(tài)檢測方案,在鉆機上添加能夠直接感測鉆頭和孔洞信息的圖像采集裝置,并且基于圖像采集裝置采集的信息實時確定出鉆頭在表達(dá)坐標(biāo)系中的位姿信息。如此確定的鉆頭位姿精度高,能夠消除累計誤差,從而提高鉆孔精度。進一步地,還可能基于采集的信息確定出洞口周圍的環(huán)境信息,諸如堆土信息等等。本申請基于圖像采集裝置直接感測的信息確定出來的鉆頭位姿信息(以及可能有的環(huán)境信息),還可以被用于鉆機的其它輔助控制方案(諸如自動軌跡控制等)中,有助于提高鉆孔精度、效率,還有助于減輕機手的工作負(fù)擔(dān)。進一步地,根據(jù)本申請的狀態(tài)檢測方案,還可以根據(jù)桅桿、動力頭上的關(guān)鍵點的采集信息實時確定這些部件在表達(dá)坐標(biāo)系中的位姿,這兩個部件的位姿對于整車的自動控制也很重要。類似地,鉆頭底板的作動元件(壓桿)的位置信息也可以被確定,并且可被用于整車的自動控制中。[0183] 雖然這里參考具體的實施方式描述了本申請,但是本申請的范圍并不局限于所示的細(xì)節(jié)。在不偏離本申請的基本原理的情況下,可針對這些細(xì)節(jié)做出各種修改。
聲明:
“用于鉆機的狀態(tài)檢測方法和控制單元” 該技術(shù)專利(論文)所有權(quán)利歸屬于技術(shù)(論文)所有人。僅供學(xué)習(xí)研究,如用于商業(yè)用途,請聯(lián)系該技術(shù)所有人。
我是此專利(論文)的發(fā)明人(作者)